Google DeepMind научила Gemini Robotics 2 управлять всем телом робота

Google DeepMind представила семейство Gemini Robotics 2: новые модели позволяют человекоподобным роботам ходить, приседать, тянуться, работать руками, выполнять многоэтапные задания и взаимодействовать друг с другом.

Gemini Robotics 2 — это модель класса VLA (vision-language-action), которая связывает зрительное восприятие, понимание команд и физические действия. В отличие от систем, управляющих лишь манипулятором или захватом, новая модель рассчитана на всё тело робота — от ног до пальцев.

В демонстрациях человекоподобный робот Apollo 2 ходил, приседал, наклонялся и тянулся к предметам, а роботы с двумя руками завязывали узлы, закрывали пакеты с застёжкой ziplock и согласовывали действия друг с другом.

Одновременно представлены ещё две модели. Gemini Robotics ER 2 отвечает за рассуждения в физическом мире: она понимает обращённую к роботу речь, разбивает сложные задания на последовательность действий, способна выполнять работу в течение нескольких минут, исправлять собственные ошибки и распределять задачи между несколькими роботами.

Gemini Robotics On-Device 2 выполняется непосредственно на устройстве, без постоянного обращения к облаку. По данным разработчиков, её можно приспособить к новому типу робота за несколько часов, обычно используя менее 200 демонстрационных примеров. Это важно для производств и других мест, где задержка связи, конфиденциальность данных или отсутствие интернета делают облачное управление нежелательным.

Результаты испытаний показывают заметный прогресс, но также подчёркивают, что универсальной ловкости пока нет. При перемещении предметов со стола точность достигала 68,4%, с пола — 45,7%, с полки — 76,3%. Некоторые операции пальцами остаются особенно трудными: закрутить лампочку удалось в 36% попыток, завязать пакет — в 44%, закрыть ziplock-пакет — в 40%, а воспользоваться совком — в 32%. При этом открутить лампочку робот смог в 92% случаев.

Google DeepMind также описала систему безопасности: модели могут отказываться от опасных команд, обращаться за помощью к человеку и безопасно останавливаться, если рядом появляется человек. Для проверки таких возможностей компания использует собственный тест ASIMOV-Agentic.

Gemini Robotics ER 2 уже доступна разработчикам через Google AI Studio и в закрытом предварительном тестировании корпоративной платформы. Остальные модели пока предоставляются партнёрам по программе раннего доступа.

Официальное описание и демонстрации: Google DeepMind