Робот научился новым действиям по одному видео в среднем за 29 секунд

Система HOST позволяет роботу освоить новый навык непосредственно во время работы, посмотрев единственную видеозапись человеческой демонстрации.

Большинство современных роботов хорошо выполняют лишь задачи, входившие в их обучение. Добавление нового навыка требует времени, вычислений и множества примеров, а дополнительное обучение иногда ухудшает уже освоенные способности.

Исследователи Пекинского технологического института, X SQUARE ROBOT и Университета Цинхуа разработали HOST — Human-to-robot One-Shot Skill AcquisiTion. Система получает одно видео с действиями человека и в среднем за 29 секунд преобразует увиденную процедуру в последовательность действий робота без изменения параметров основной модели.

Главная трудность состоит в различии человеческого тела и робота, а также в несовпадении темпа демонстрации и выполнения. HOST связывает текущую цель с соответствующим моментом видеозаписи и использует собственное состояние робота, чтобы адаптировать движение к его конструкции.

Подход проверили на манипуляционных задачах. Авторы сообщают, что новые умения добавлялись без потери прежних, поскольку система осваивает процедуру во время выполнения, а не переобучает всю модель.

Работа пока опубликована как препринт и нуждается в независимой проверке. Если результаты подтвердятся в более широких условиях, обучение по одному обычному видео может заметно упростить программирование бытовых и промышленных роботов.

Препринт HOST