F³ превращает сигналы event-камер в данные для алгоритмов зрения

30 октября TechXplore рассказал о работе инженеров Пенсильванского университета. Ришик Дас, Костас Даниилидис и Пратик Чаудхари из лаборатории GRASP представили Fast Feature Field, или F³: инструмент, который переводит сигналы event-камеры в описание сцены, пригодное для обычных алгоритмов компьютерного зрения. Статья вышла в Science Robotics. По данным авторов, само описание вычисляется 120 раз в секунду при разрешении HD и 440 раз в секунду при VGA, а задачи восприятия на его основе решаются на HD с частотой 25-75 раз в секунду. Алгоритмы на базе F³ работали примерно в 2-5 раз быстрее прежних event-методов.

Кадры и события

Обычная камера записывает целые кадры через равные промежутки, например 30 раз в секунду. Event-камера устроена иначе: каждый её элемент сообщает, что яркость в этой точке изменилась и в какую сторону. Вместо последовательности картинок получается поток отдельных отметок со временем. Такой сенсор хорошо ловит быстрые движения. Авторы отмечают, что его преимущества заметнее всего при малой задержке и слабом свете, где обычные RGB-камеры сдают.

Загвоздка в программной части. Поток событий не подать напрямую в готовые алгоритмы зрения: под каждую задачу инженеры писали отдельный специализированный метод. Сам поток бывает шумным и объёмным, и без подавления лишнего с ним тяжело работать. Из-за этого event-камеры долго оставались инструментом отдельных исследований. Чаудхари объясняет: если не убирать избыточную информацию, данные получаются слишком зашумлёнными и объёмными, чтобы использовать их напрямую.

Предсказание вместо ручных схем

Авторы перебирали математические способы сжать визуальную информацию, искали для событий аналог быстрого преобразования Фурье, но надёжного варианта не нашли. Тогда они отдали задачу нейросети: пусть сама ищет способ описания. Учили её предсказанию, то есть по прошлым событиям сеть должна угадать следующие. «Чтобы точно предсказывать будущие события по прошлым, сеть должна научиться представлять и устройство сцены, и движение в ней», говорит Дас, первый автор статьи.

Из потока событий получается описание участка пространства и времени в виде многоканального изображения. С ним работают стандартные сети для компьютерного зрения, в том числе созданные под обычные цветные снимки. Даниилидис сравнивает F³ с форматами сжатия вроде JPEG и MPEG: те дали разным устройствам общий язык для картинок и видео, а здесь такой язык получают event-камеры.

Отдельно пришлось решать вопрос скорости. Первая реализация не успевала за реальным временем. Ускорение дало то, что расчёты идут только там, где события действительно возникли: в каждый момент большинство точек кадра ничего нового не сообщает.

Что показали проверки

Метод испытали на записях с автомобиля, четвероногого робота и летающей платформы: днём и ночью, в помещениях, на городских улицах и на бездорожье, с сенсорами разных разрешений и разной частоты событий. По сообщению авторов, результаты вышли на уровень лучших современных методов в трёх задачах: оценке оптического потока, семантической сегментации и определении глубины, то есть расстояния до объектов, по одной камере.

Представим робота, который выезжает с залитой солнцем улицы в тень под деревьями. Свет меняется резко, и обычный кадр часть сцены теряет, а поток событий продолжает идти. F³ отдаёт описание, по которому видно, где находятся объекты и куда они движутся, и уже на нём считают поток, границы объектов или расстояния.

Из этого не следует, что event-камеры стали обычной деталью роботов. Проверка шла на трёх платформах и ограниченном наборе задач восприятия, а сравнение по скорости относится к прежним методам обработки событий. Массового коммерческого применения материалы не подтверждают, как и преимущества F³ в любых сценариях. Авторы упоминают и текущую работу: команда использует метод, чтобы строить автономные дроны для загромождённых и плохо освещённых пространств. Это направление исследований, а не готовый продукт.

Наборы данных, настройки и метрики подробно разобраны в статье Science Robotics. Требования к таким публикациям, от структуры до оформления ссылок, собраны в материалах о подготовке научных статей.