Институт исследований ИИ Ai2 выпустил свежие модели для робототехники, полностью обученные в виртуальных средах. Они сразу переходят на реальные устройства без ручного сбора данных и доработки — исследователи обозначают это как zero-shot sim-to-real transfer. Подход радикально ускоряет создание: традиционно для стабильной работы симулированных роботов уходили месяцы телеманипулированных показов в реальности.
Открытые системы MolmoSpaces и MolmoBot составляют пару новинок. В MolmoSpaces насчитывается свыше 230 000 комнатных сцен, более 130 000 проверенных объектов и свыше 42 миллионов пометок захватов с учетом физики. На этой базе MolmoBot захватывает и перемещает предметы, выдвигает ящики и открывает двери, не опираясь ни на один реальный пример.
Ранджай Кришна, глава команды PRIOR в Ai2, объясняет: дистанция между виртуальной и настоящей средой уменьшается при существенном росте разнообразия симулированных локаций, предметов и параметров камер. Модели с инструментами выложены в открытый доступ, а технические детали описаны в статье.