Исследователи из Национальной лаборатории имени Лоуренса в Беркли разработали TEM Agent: система переводит текстовые инструкции в последовательности команд для просвечивающего электронного микроскопа. Результаты работы опубликованы 10 июня 2026 года в журнале npj Computational Materials. Систему испытали на микроскопе TEAM 0.5 в Национальном центре электронной микроскопии Molecular Foundry в Беркли.

Как текст превращается в действия прибора

Коммерческая языковая модель не управляет микроскопом напрямую и не пишет для него код. Она обращается к заранее подготовленным инструментам: каждый выполняет ограниченный набор операций и возвращает текстовые сведения о состоянии прибора или результате действия. Модель соединяет такие команды в цепочку под более сложную задачу.

В испытании по электронной томографии агент собирал серию изображений при наклоне образца и настраивал фокус между снимками. Томография восстанавливает трёхмерную структуру по изображениям, снятым под разными углами. Представим, что оператор просит снимать кадр после каждого поворота образца на заданный угол: система может собрать план из доступных команд, выполнить его и вернуть текстовые результаты.

Агент также искал параметры прежних экспериментов в базе Crucible и опирался на найденное при настройке текущего опыта. Авторы взяли коммерческую модель без дополнительного обучения специально для электронной микроскопии: нужный контекст ей давали инструкции и заранее написанные инструменты.

Изображения система пока не разбирает сама. Отдельные программы считали показатели снимков, а модели передавали результаты текстом. Одинаковый запрос мог приводить к разным последовательностям действий. Авторы подчёркивают, что оператор должен контролировать работу и что TEM Agent не заменяет опытного специалиста. Испытания прошли на конкретной установке и её программной инфраструктуре, поэтому результаты не доказывают, что система без адаптации подойдёт к любому микроскопу.

Работа относится к исследованиям управления научными приборами и обработки результатов. О других направлениях можно узнать в разделе научных статей.

Схема показывает, как TEM Agent преобразует текстовый запрос в последовательность заранее заданных команд и возвращает оператору текстовые результаты.

Фото: kennethr / Pixabay