Стартап World Labs, основанный пионером в области искусственного интеллекта Фэй-Фэй Ли, выпустил свой дебютный коммерческий продукт на основе модели мира. Marble доступен в форматах freemium и платных подписок, позволяя преобразовывать текстовые запросы, фотографии, видео, трехмерные схемы или панорамы в редактируемые и скачиваемые трехмерные пространства.
Выпуск этой генеративной модели мира, которая два месяца назад появилась в ограниченном бета-тестировании, произошел чуть более чем через год после выхода компании из стелс-режима с инвестициями в размере 230 миллионов долларов. Это позволяет World Labs опередить соперников, разрабатывающих аналогичные модели. Такие системы искусственного интеллекта формируют внутреннее представление об окружении, что помогает прогнозировать возможные сценарии и планировать действия.
Другие компании, такие как Decart и Odyssey, предложили бесплатные демонстрационные версии, а модель Genie от Google остается в стадии ограниченного исследовательского просмотра. В отличие от них и даже от собственной реального времени модели RTFM от World Labs, Marble создает устойчивые трехмерные пространства, которые можно скачать, вместо генерации миров в процессе исследования. По словам разработчиков, это минимизирует искажения и несоответствия, а также позволяет экспортировать результаты в формате гауссовых сплэтов, мешей или видео.
Marble стал первой моделью подобного типа, оснащенной инструментами редактирования на базе ИИ и гибридным трехмерным редактором, где пользователи могут задавать пространственные структуры, а искусственный интеллект дополняет визуальные элементы.
Это совершенно новая категория моделей, генерирующих трехмерные миры, и их качество будет расти со временем. Мы уже добились значительного прогресса в улучшениях, отметил Джастин Джонсон, сооснователь World Labs.
В декабре прошлого года World Labs продемонстрировал, как ранние версии моделей могут создавать интерактивные трехмерные сцены на основе одного изображения. Хотя результаты впечатляли, сцены имели мультяшный вид, перемещения были ограничены небольшой зоной, а иногда возникали ошибки рендеринга.
Во время тестирования бета-версии Marble успешно генерировал убедительные миры исключительно из изображений — от игровых локаций до фотореалистичных копий жилой комнаты. На границах сцен наблюдались трансформации, но в текущем релизе эти проблемы частично устранены. Тем не менее, один из миров, созданный в бета по единственному запросу, выглядел качественнее и точнее соответствовал замыслу, чем аналогичный результат в новой версии.
Редактирующие функции пока не испытаны, но, по словам Джонсона, они делают Marble полезным для проектов в геймдеве, визуальных эффектах и виртуальной реальности в ближайшей перспективе.
Одна из ключевых идей развития Marble — это контроль творчества, подчеркнул Джонсон. Пользователи должны иметь быстрый способ генерации, но также возможность углубиться и получить полный контроль над создаваемым контентом. Нельзя позволить машине полностью захватывать инициативу и отбирать креативность у человека.
Подход Marble к творческому контролю начинается с разнообразия входных данных. В бета-версии принимались только одиночные изображения, из-за чего модель вынуждена была додумывать детали для полного 360-градусного обзора. Теперь пользователи могут загружать несколько снимков или короткие видео с разных ракурсов, чтобы модель создавала реалистичные цифровые двойники пространств.
Далее следует Chisel — экспериментальный трехмерный редактор, позволяющий задавать грубые пространственные макеты, такие как стены, блоки или плоскости, и добавлять текстовые подсказки для стиля. Marble генерирует мир, разделяя структуру и визуал, подобно тому, как HTML определяет каркас сайта, а CSS отвечает за оформление. В отличие от текстового редактирования, Chisel позволяет напрямую манипулировать объектами.
Я могу просто взять трехмерный блок, представляющий диван, и переместить его в другое место, объяснил Джонсон.
Еще одна инновация для расширения контроля — возможность удлинять сгенерированный мир.
После создания мира его можно расширить один раз, сказал Джонсон. Если при перемещении часть пространства начинает разрушаться, модель может добавить детали в этой области или сгенерировать больше контента поблизости, улучшив локальную проработку.
Для создания обширных пространств доступен режим композитора, объединяющий несколько миров. Джонсон показал это на примере двух готовых сцен — комнаты из сыра с креслами из винограда и футуристической переговорной в космосе.
Путь к пространственному интеллекту
Marble предлагается в четырех тарифах подписки: Free (четыре генерации из текста, изображения или панорамы), Standard (20 долларов в месяц, 12 генераций с поддержкой нескольких изображений/видео и расширенным редактированием), Pro (35 долларов в месяц, 25 генераций с расширением сцен и коммерческими правами), Max (95 долларов в месяц, все опции и 75 генераций).
Джонсон считает, что первыми сценариями применения Marble станут геймдев, визуальные эффекты для кино и виртуальная реальность.
В игровой индустрии отношение к таким технологиям неоднозначно. Опрос на Game Developers Conference показал, что треть респондентов видит в генеративном ИИ негативное влияние на отрасль — на 12% больше, чем годом ранее. Среди главных опасений — кража интеллектуальной собственности, высокий расход энергии и снижение качества контента от ИИ. Кроме того, расследование Wired выявило, что студии вроде Activision Blizzard используют ИИ для экономии и борьбы с текучкой кадров.
В играх Джонсон представляет, как разработчики генерируют фоновые окружения и ambientные зоны в Marble, а затем импортируют их в движки вроде Unity или Unreal Engine для добавления интерактивности, логики и кода.
Это не замена всему существующему процессу в геймдеве, а предоставление готовых ассетов для интеграции в рабочий пайплайн, уточнил он.
Для визуальных эффектов Marble избегает проблем с непоследовательностью и контролем камеры, типичных для ИИ-генераторов видео, по мнению Джонсона. Трехмерные ассеты позволяют художникам ставить сцены и управлять камерой с идеальной точностью по кадрам.
Хотя World Labs сейчас не акцентирует виртуальную реальность, Джонсон отметил дефицит контента в этой сфере и энтузиазм по поводу запуска. Marble совместим с гарнитурами Vision Pro и Quest 3, и все сгенерированные миры можно просматривать в VR прямо сейчас.
Marble также может найти применение в робототехнике. В отличие от генерации изображений и видео, где есть обширные датасеты, робототехника страдает от нехватки тренировочных данных. Генераторы вроде Marble упрощают создание симуляций для обучения.
Согласно недавнему манифесту Фэй-Фэй Ли, генерального директора и сооснователя World Labs, Marble — это начальный этап на пути к настоящей модели мира с пространственным интеллектом.
Ли уверена, что следующие поколения моделей мира позволят машинам достичь пространственного интеллекта на принципиально новом уровне. Если большие языковые модели учат машины читать и писать, то системы вроде Marble помогут им видеть и строить. Понимание существования и взаимодействия объектов в трехмерном пространстве в итоге приведет к прорывам за пределами игр и робототехники, включая науку и медицину.
Мечты о по-настоящему умных машинах останутся неполными без пространственного интеллекта, написала Ли.