Pokémon GO стал первым мировым хитом дополненной реальности. В 2016 году Niantic, компания-отросток Google, запустила AR-версию популярной франшизы Pokémon, и игра мгновенно охватила планету. От Чикаго до Осло и Энозимы геймеры устремлялись на улицы, стремясь поймать Джигглипаффа, Сквиртла или невероятно редкого Галарского Запдоса, нарисованного прямо над обыденными пейзажами.
Речь идёт о миллиардах снимков зданий и улиц, сделанных с помощью смартфонов. «За 60 дней приложение установили 500 миллионов человек», — рассказывает Брайан Макклендон, технический директор Niantic Spatial, компании по ИИ, выделенной Niantic в мае прошлого года. По данным студии Scopely, которая приобрела Pokémon GO у Niantic в тот же период, в 2024 году игра всё ещё собирала свыше 100 миллионов пользователей, спустя восемь лет после дебюта.
Niantic Spatial применяет этот уникальный массив краудсорсинговых данных — фото городских ориентиров с метками сверхточных координат от сотен миллионов игроков Pokémon GO по всему миру — для создания мировых моделей. Такие модели связывают возможности больших языковых моделей с реальными условиями.
Новейшая разработка компании — система, которая определяет местоположение на карте с погрешностью в несколько сантиметров по нескольким фото окружающих зданий или ориентиров. Её цель — помочь роботам передвигаться точно там, где GPS подводит.
Первый серьёзный тест технология прошла в партнёрстве с Coco Robotics, стартапом, который запускает роботов последней мили доставки в городах США и Европы. «Все ждали AR-очков как будущего, но главными клиентами стали роботы», — отмечает Макклендон.
От Пикачу к доставке пиццы
Coco Robotics использует около тысячи роботов размером с дорожный кейс — каждый способен нести до восьми больших пицц или четырёх пакетов с продуктами. Они работают в Лос-Анджелесе, Чикаго, Джерси-Сити, Майами и Хельсинки. По словам CEO Зака Раша, роботы совершили более полумиллиона доставок, пройдя несколько миллионов миль в любую погоду.
Чтобы соперничать с курьерами-пешеходами, роботы Coco, едущие по тротуарам со скоростью около 8 км/ч, должны работать безупречно. «Мы справляемся лучше всего, если приезжаем точно в срок», — подчёркивает Раш. Главное — не сбиться с пути.
Проблема в том, что GPS в городах ненадёжен: сигналы отражаются от зданий и мешают друг другу. «Мы доставляем в густонаселённых районах с высотками, эстакадами и магистралями — там GPS просто не функционирует», — объясняет Раш.
«Городские каньоны — худшее место для GPS», — соглашается Макклендон. «Синяя точка на экране смартфона может 'плавать' на 50 метров, перенося вас на другой квартал или сторону улицы». Здесь на помощь приходит Niantic Spatial.
Несколько лет компания обрабатывает данные из Pokémon GO и Ingress — предыдущей AR-игры Niantic для смартфонов, вышедшей в 2013 году, — чтобы создать визуальную систему позиционирования. Она определяет координаты по видимым объектам. «Задача заставить Пикачу реалистично бегать и роботов Coco безопасно перемещаться — одна и та же», — говорит Джон Хэнке, CEO Niantic Spatial.
«Визуальное позиционирование — не новинка», — комментирует Конрад Венцель из ESRI, разработчика ПО для цифровых карт и геоаналитики. «Но чем больше камер в деле, тем точнее система».
Модель Niantic Spatial обучена на 30 миллиардах снимков городских сцен. Особенно много данных из 'горячих точек' — ключевых локаций в играх Niantic, вроде арен для Pokémon-битв, куда заманивали игроков. «У нас свыше миллиона таких мест по миру с позиционированием до нескольких сантиметров, включая направление взгляда», — уточняет Макклендон.
Для каждой точки накоплены тысячи фото с разных ракурсов, в разное время суток и при разной погоде. Каждое сопровождается метаданными: точное положение смартфона, ориентация, наклон, движение, скорость и направление.
На основе этого модель предсказывает координаты по фото даже вне 'горячих точек', где данных меньше.
Роботы Coco оснащены четырьмя камерами на уровне бёдер, смотрящими во все стороны. Их ракурс отличается от геймерского, но адаптация данных прошла гладко, уверяет Раш.
Конкуренты тоже применяют визуальное позиционирование. Например, Starship Technologies, эстонский стартап 2014 года по доставке роботами, строит 3D-карты по сенсорам, фиксируя края зданий и фонари.
Но Раш рассчитывает на преимущество от Niantic: роботы смогут точно парковаться у ресторанов для забора заказов, не мешая прохожим, и подъезжать вплотную к двери клиента, а не останавливаться в паре шагов, как бывало раньше.
Роботизированный камбрийский взрыв
Изначально визуальное позиционирование Niantic Spatial разрабатывали для AR, рассказывает Хэнке. «AR-очки требуют фиксации мира под взглядом пользователя». Но сейчас роботы переживают настоящий бум.
Многие из них делят пространство с людьми — стройплощадки, тротуары. «Чтобы роботы не мешали, им нужна такая же пространственная осведомлённость, как у нас», — считает Хэнке. «Мы поможем им восстановить позицию после толчков».
Сотрудничество с Coco — только начало. Niantic Spatial закладывает основу 'живой карты': сверхдетализированной виртуальной копии мира, обновляющейся в реальном времени. Роботы Coco и других компаний будут пополнять данные, улучшая цифровые двойники.
Хэнке и Макклендон видят сдвиг: карты детализируются и всё чаще служат машинам. Раньше они помогали людям ориентироваться — от 2D к 3D и 4D (реал-тайм симуляции вроде цифровых двойников), но принцип тот же: точки на карте = точки в пространстве-времени.
Карты для машин превращаются в путеводители с описаниями очевидного для людей. Niantic Spatial и ESRI добавляют теги свойств объектов. «Сейчас время создавать описания мира, понятные машинам», — заявляет Хэнке. «Наши данные — отличная база для понимания связей в реальности».
Мировые модели в тренде: большие языковые модели сильны в знаниях, но слабы в здравом смысле для повседневных ситуаций. Такие модели исправляют это. Google DeepMind и World Labs генерируют виртуальные миры для тренировки ИИ-агентов.
Niantic Spatial идёт другим путём. Доведите картографию до предела — захватите весь мир, говорит Макклендон: «Я сосредоточен на recreation реального мира. Мы ещё не там, но стремимся».