Исследователи из Университета Иллинойса в Урбане-Шампейне 21 октября 2026 года сообщили, что алгоритм CARL сохранил преимущество, полученное в симуляции, во время испытаний на трёх физических роботах. Метод объединил обучение с подкреплением и теорию сокращения, повысив точность отслеживания траектории максимум на 15% по сравнению с методами, использованными для сравнения.

Как CARL удерживает робота возле заданного маршрута

CARL расшифровывается как обучение с подкреплением с учётом сокращения. При обычном обучении с подкреплением алгоритм пробует разные действия и получает награду за удачное поведение. В этой работе исследователи добавили математическое описание того, как должна уменьшаться ошибка движения.

CARL одновременно обучает политику управления, то есть правило выбора действий робота, и метрику управления сокращением. Эта метрика задаёт пространство, в котором ошибка отслеживания должна сжиматься. Исследователи встроили её непосредственно в функцию награды. В репозитории проекта метод описан как алгоритм PPO, дополненный наградой, сформированной с помощью этой метрики. PPO, или оптимизация политики близкими обновлениями, применяют для обучения поведения робота.

Теория сокращения не исключает небольших отклонений от маршрута. Она задаёт математические пределы их роста. Поэтому обучение с подкреплением ищет эффективное поведение, а теория управления ограничивает, насколько далеко система может отклониться от устойчивого движения.

Представим, что робот должен ехать по линии, а в симуляции его масса составляет 1 кг. Настоящее устройство может весить 1,2 кг, и та же команда управления даст немного другой результат. CARL должен не просто повторить действия, найденные в виртуальной модели, а выбирать их так, чтобы ошибка оставалась в пределах, заданных метрикой. Это условный пример механизма, а не отдельный эксперимент исследователей.

Сначала авторы проверили CARL в симуляции, затем перенесли его на реальные устройства. Испытания прошли на колёсном TurboBot 3 Burger, летающем дроне с машущими крыльями и шестиногом роботе Jethexa. По сообщению университета, в этом наборе экспериментов метод опередил предыдущие алгоритмы максимум на 15%. Преимущество, полученное в симуляции, сохранилось и на физических роботах, несмотря на различия между моделью и реальными устройствами.

Результат указывает, что CARL лучше справлялся с описанным авторами разрывом между симуляцией и реальностью. Но он не доказывает, что алгоритм будет так же работать на любых роботах и в любых условиях. В доступных материалах нет числа запусков, точных ошибок для каждого устройства и подробностей статистического анализа. Полный экспериментальный раздел статьи также недоступен. Работа опубликована в журнале IEEE Transactions on Robotics, DOI: 10.1109/TRO.2026.3727138.

Открытый код и описание метода могут быть полезны тем, кто готовит научную статью по робототехнике, но репозиторий сам по себе не заменяет полного описания рецензируемого эксперимента.

Схема показывает, как CARL объединяет обучение с подкреплением и метрику управления сокращением, а затем проверяется на колёсном роботе, дроне и шестиногой платформе.

Фото: Kindel Media / Pexels