Исследователи Института оптики, точной механики и физики Чанчуня Китайской академии наук разработали ETATrack, трекер, который анализирует обычные и тепловые изображения вместе с выбранными кадрами из истории видео. В сообщении академии от 13 ноября 2026 года говорится, что на тесте LasHeR система показала успешность отслеживания 58,2% и работала в реальном времени. Исследование опубликовано в журнале Infrared Physics & Technology и указано как работа 2027 года.

Почему трекеру нужны не все кадры подряд

Обычная камера передаёт цвет и фактуру, а тепловизор показывает распределение тепла. Эти данные могут дополнять друг друга, например при плохом освещении. Помогают и кадры из истории видео, если внешний вид объекта меняется. Но старый снимок может быть размытым, закрытым препятствием или уже не соответствовать нынешнему виду объекта.

ETATrack превращает изображения и выбранные кадры из истории в последовательность визуальных токенов, компактных элементов, с которыми работает нейросеть. Временные метки помогают ей учитывать, когда снят каждый кадр. Затем система сопоставляет старые изображения с участками текущего кадра и выбирает подходящий шаблон отдельно для каждой области. Так она использует полезные сведения из истории, не обрабатывая без разбора все сохранённые кадры.

Допустим, камера следит за человеком, который ненадолго скрылся за колонной. Снимок до исчезновения может помочь системе узнать его после появления. Но если человек сменил куртку, слишком старый кадр способен помешать. Это условный пример, а не эксперимент авторов.

Китайская академия наук сообщает, что модель проверили на четырёх общедоступных наборах данных для отслеживания объектов в видимом и тепловом диапазонах. В отдельных проверках исследователи убирали временные признаки, механизм обновления компактного токена, связанного с объектом, и дополнительное использование шаблонов. После каждого изменения результат снижался. Однако в сообщении нет численных показателей для трёх других наборов, скорости в кадрах в секунду и точных затрат вычислений. Поэтому сравнить вычислительную нагрузку ETATrack с другими системами по этим данным нельзя.

Добавление исторических шаблонов сверх лучшего испытанного числа не улучшало результат и могло приносить избыточные или устаревшие сведения. ETATrack хранит фиксированное число шаблонов и не меняет длину истории в зависимости от сложности видео. Для работы на устройствах с ограниченными ресурсами систему, по сообщению академии, потребуется дополнительно упростить.

Описание услуги подготовки научных статей можно найти в каталоге редакционных материалов.

Концептуальная схема показывает, как ETATrack объединяет изображения двух диапазонов с выбранными кадрами из прошлого, чтобы отслеживать объект.

Фото: mfuente / Pixabay