Mistral выпустила модель Robostral Navigate для навигации роботов по одной камере

Первая робототехническая модель Mistral управляет движением по обычному RGB-видео и текстовой команде без лидара и датчика глубины.

Robostral Navigate содержит 8 млрд параметров и предназначена для разных мобильных платформ. Робот получает изображение с одной камеры и инструкцию вроде «пройди в кухню и остановись у стола», после чего модель формирует управляющие действия.

Большая часть обучения проходила в виртуальных средах, что снижает стоимость сбора реальных траекторий. В техническом отчёте описана проверка на ранее не встречавшихся помещениях и разных корпусах роботов.

Модель и исследовательские материалы доступны через официальный раздел Mistral и публикацию на arXiv.