Пока OpenAI сворачивает разработку видео-генератора, закрывая приложение Sora, ByteDance объявила о запуске своей новой модели для аудио и видео — Dreamina Seedance 2.0 — прямо в популярном редакторе CapCut.
С помощью этой модели авторы контента могут генерировать, править и согласовывать видео с аудио, опираясь на текстовые описания, фото или примеры видео.
Распространение начнется поэтапно для пользователей CapCut из Бразилии, Индонезии, Малайзии, Мексики, Филиппин, Таиланда и Вьетнама, с постепенным добавлением других регионов.
Такой ограниченный старт связан с недавними сообщениями о приостановке глобального релиза модели — ByteDance решала вопросы с интеллектуальной собственностью, вызвавшие недовольство Голливуда из-за подозрений в нарушении авторских прав.
В Китае модель уже доступна в приложении Jianying от ByteDance.
Как отмечает ByteDance в официальном сообщении, модель способна создавать видео без исходных изображений — достаточно краткого описания сцены. Она точно передает реалистичные текстуры, динамику движения и освещение с разных ракурсов, что помогает дорабатывать, улучшать или исправлять собственные съемки авторов.
Еще одно применение — проверка концепций на основе набросков или эскизов перед реальной съемкой.
Модель подходит для разнообразного контента: рецептов готовки, уроков фитнеса, обзоров товаров или услуг, а также динамичных роликов с акцентом на движение — областей, где ИИ-генераторы видео раньше испытывали трудности.
На старте поддерживаются клипы длительностью до 15 секунд в шести форматах соотношения сторон.
В CapCut модель появится в разделах редактирования вроде AI Video и генераторах типа Video Studio. Кроме того, она выйдет на платформе ИИ-генерации Dreamina и маркетинговой Pippit.
Чтобы избежать рисков, ByteDance ввела ограничения: модель не создает видео из изображений или роликов с реальными лицами. Запрещена генерация чужой интеллектуальной собственности. (Хотя ограничения работают неидеально — иначе модель уже была бы в США, так что доработки продолжаются.)
Сгенерированный контент несет невидимый водяной знак для идентификации вне платформы — это упростит удаление нарушений, если что-то просочится.
ByteDance планирует сотрудничать с экспертами и сообществами авторов, чтобы совершенствовать модель по мере ее распространения.