Полигон для физического ИИ — это игра в дженгу на складе в Сан-Леандро, Калифорния. Там располагается Encord — компания, создающая инструменты для разметки данных, которые используются при обучении ИИ-моделей. Эндрю Сеха — пилот (так в компании называют операторов-тренеров роботов) — осторожно вытаскивает деревянные блоки из шаткой башни, надев шлем с камерой, которая отслеживает его взгляд. Сам по себе такой сбор данных для обучения роботов — обычное дело, но этот шлем оснащён датчиками, измеряющими мозговые волны Сехи, пока он аккуратно разбирает башню из блоков.
Encord — одна из немногих, но быстро растущих стартапов, которые ставят на то, что главным ограничением для гуманоидной и складской робототехники станут не архитектуры моделей, а острая нехватка реальных физических данных для обучения. Вместо того чтобы просто помогать робототехническим компаниям управлять уже имеющимися данными, Encord строит бизнес на производстве тех данных, которых у них нет.
Гарнитура для снятия мозговых волн, которую использует Сеха, создана Zander Labs — немецким нейротехнологическим стартапом, который полагает, что измерение мозговой активности для выявления таких ментальных состояний, как ошибка, намерение и удивление, позволит формировать более полезные наборы данных для обучения моделей. Сотрудничество Encord с Zander пока находится на стадии эксперимента; в Encord говорят, что цель — собрать первоначальный набор данных с метками мозговой активности, прогнать его через модели заказчиков и оценить, действительно ли это улучшает их работу, прежде чем принимать решение о масштабировании.
Лукас Герке, нейробиолог из Zander, руководящий исследованиями, утверждает, что объём мозговой активности в каждый момент выполнения задачи указывает разработчикам моделей, когда следует задействовать наиболее ресурсоёмкие версии их моделей.
По словам Винита Велмуругана, главы направления обучения роботов в Encord, это «передний край» усилий по решению проблемы нехватки данных в робототехнике. Велмуруган, ранее работавший в роболаборатории OpenAI и в компании по автоматизации складов Berkshire Grey, присоединился к Encord, чтобы развивать внутреннее подразделение компании.
Утолить потребность в эгоцентричных данных
Компании, создающие «мозги» для роботов, сегодня обращаются к двум основным источникам: «эгоцентричному» видео, собираемому с камер на головах операторов, часто дополненному дополнительными ракурсами и метриками, и данным, получаемым с дистанционно управляемых роботов. Encord использует оба подхода: собирает эгоцентричные данные на нескольких заводах по всему миру и задействует свою площадку в Сан-Леандро для экспериментов с новыми модальностями, такими как мозговые волны, или для сбора наборов данных по конкретным навыкам для точной настройки.
Во время визита TechCrunch пилоты работали с системами «ведущий-ведомый» — парными роборуками, одна из которых напрямую управляется человеком, а вторая повторяет её движения — создавая данные для таких задач, как разливание кофе из кофейника в чашки (сильно проливается) и укладка покерных фишек.
«Каждая компания, занимающаяся гуманоидами, запрашивала у нас эти фрагменты», — говорит Велмуруган.
На стеллажах стояли коробки с искусственными цветами в вазах, книги, пластиковые овощи, лотки и совки для кошачьего наполнителя, сумки и связки проводов — всё это расходный материал для обучения манипуляторов домашним задачам.
На одной из таких станций другой пилот, София Инфанте, управляет роборуками, чтобы вставлять и вынимать Ethernet-кабели из задней панели сервера — именно ту работу, которую операторы центров обработки данных мечтали бы автоматизировать, если бы роботы могли выполнять её с требуемой точностью. Попробовав управление, корреспондент TechCrunch убедился, почему это пока недостижимо: механические захваты гораздо менее ловкие, чем человеческие пальцы, и не обладают степенями свободы, к которым мы привыкли в наших руках.
Ещё одна новая модальность данных, которую развивает Encord, использует набор датчиков на предплечье, регистрирующих электрические сигналы в мышцах. Видеозапись манипуляций человеческой руки обычно не захватывает всю кисть целиком, однако Велмуруган надеется построить трёхмерную картину положения руки в любой момент времени на основе данных с датчиков на руке, создавая более полное понимание для моделей.
Наборы данных Encord аннотируются физическими описаниями того, что происходит в каждом видео — например, «правая рука затягивает болт» — чтобы помочь моделям на основе LLM понимать суть действий. Велмуруган оценивает, что такая плотная аннотация в 100 раз ценнее, чем «мусорные эго-данные», для обучения конкретным задачам, а стоит она лишь в 20 раз дороже — на бумаге это выгодный обмен.
Но «в 20 раз дороже» — это всё равно реальные деньги, и в этом загвоздка: извлечение текста из интернета, подобно тому, как создатели LLM обучали свои модели на Stack Overflow и всём остальном вебе, обходилось передовым лабораториям практически бесплатно. Генерация физических обучающих данных — совсем другое дело, и в этом пределы сравнения физического ИИ с LLM. Такие данные нужно именно производить, а не просто собирать, что меняет экономику построения этих моделей.
Велмуруган отмечает, что прогресс есть: обладая обзором программ по всей отрасли, он видит, как и стартапы, и продвинутые лаборатории нащупывают, что работает, а что нет для улучшения моделей физического ИИ. Эта позиция — находиться между множеством робототехнических компаний одновременно — также часть предложения Encord. Компания может заметить, какие методы работы с данными набирают силу в индустрии, раньше, чем любой отдельный заказчик.
Это обеспечит работой примерно дюжину пилотов на площадке Encord. И Инфанте, и Сеха — часть растущей рабочей силы, создающей строительные блоки для нейросетей; до прихода в Encord они работали в Scale, ещё одной компании по разметке ИИ-данных.
Сеха ранее трудился в компании по утилизации отходов, где его интерес к технологиям привёл к тому, что он отвечал за поддержание в рабочем состоянии роботизированного сортировщика мусора. Теперь, когда башня из дженги рушится, он говорит, что получает удовольствие от решения задач по обучению роботов: «Каждый день что-то новое!»