Исследователи представили LPM 1.0 — ИИ-модель, которая создаёт видео в реальном времени с персонажем, говорящим, слушающим или поющим, на основе единственного изображения.
Она одновременно обрабатывает текст, аудио и референсные картинки, формируя речь с точной синхронизацией губ, лёгкие изменения мимики вроде сомнений или поворотов взгляда, а также смену эмоций. Модель подключается напрямую к голосовым ИИ вроде ChatGPT или Doubao, чтобы возник визуальный собеседник в прямом эфире.
LPM 1.0 подходит для разных стилей изображений — фотореалистичных лиц, аниме-персонажей и героев 3D-игр — без дополнительного обучения. Процесс генерации видео идёт как поток в реальном времени, без полного рендера заранее. Ролики длиной до 45 минут сохраняют стабильность.
LPM 1.0 использует метод, названный авторами "multi-granularity identity conditioning": вместе с главным изображением модель получает дополнительные снимки с других ракурсов и разными эмоциями на лице. Благодаря этому она извлекает детали вроде зубов, морщин от конкретных чувств или вида в профиль прямо из референсов, не придумывая их.
Модель определяет три состояния диалога. Во время слушания она формирует реакции вроде кивков или перемещений глаз по поступающему звуку. При говорении звук ответа управляет движениями губ и позами тела. В промежутках модель создаёт естественные действия в покое по текстовым подсказкам.
Кроме онлайн-разговоров LPM 1.0 генерирует видео оффлайн из имеющегося аудио — подходит для подкастов или сцен из фильмов, считает руководитель проекта Ailing Zeng. Это позволяет создавать контент за пределами живых чатов. Ввод на основе видео в текущей версии отсутствует, но архитектура допускает его в будущем.
Пока это исследовательский проект без планов на открытый доступ
Команда разработчиков уточняет: LPM 1.0 — исключительно исследовательская работа. Модельные веса, исходный код или публичная демо-версия не планируются. Все лица в примерах — полностью сгенерированы ИИ, а не фото реальных людей. Авторы отмечают заметные дефекты в видео, а анализ подтвердил отставание от качества настоящих роликов.
Открытие доступа возможно "только при наличии твёрдых мер защиты и правил ответственного применения". Больше информации на странице проекта и в техническом отчёте.
Даже в статусе прототипа LPM 1.0 указывает на будущее: ИИ, которые общаются не только голосом или текстом, но предстают как убедительные визуальные фигуры с мимикой, контактом глазами и эмоциональными откликами. Такие системы пригодятся в обучении, играх, поддержке клиентов или как виртуальные спутники.
Однако технология несёт угрозы. Она близка к платформе для реал-тайм deepfakes, которую злоумышленники применят для афер, влияния или маскировки под других. Такие риски уже существуют, а порог доступа снижается. Разработчики подчёркивают: система не предназначена для заблуждения, обмана или имитации живых людей.