Наши передовые технологии искусственного интеллекта для музыки теперь интегрированы в MusicFX DJ, Music AI Sandbox и YouTube Shorts.
Почти десять лет команды занимаются изучением того, как ИИ может способствовать творческому процессу, разрабатывая инструменты, которые позволяют энтузиастам и профессионалам открывать новые формы самовыражения.
В течение последнего года мы тесно сотрудничаем с партнерами из музыкальной индустрии через Music AI Incubator и другие инициативы. Их мнения направляют наши эксперименты с генеративной музыкой на основе ИИ, помогая создавать инструменты, которые ответственно расширяют доступ к созданию музыки для всех.
Сегодня, в партнерстве с Google Labs, мы представляем обновленный интерфейс для MusicFX DJ, который упрощает генерацию музыки в реальном времени для любого пользователя.
Мы также объявляем об улучшениях в наборе инструментов Music AI Sandbox и подчеркиваем применение новейших технологий ИИ для музыки в YouTube’s Dream Track — экспериментальной платформе, где создатели могут генерировать высококачественные инструментальные треки для своих коротких видео и роликов.
Генерация живой музыки с помощью MusicFX DJ
На конференции I/O в этом году мы продемонстрировали предварительную версию MusicFX DJ — цифрового инструмента, который любой может использовать как музыкальный инструмент, делая процесс создания живой музыки доступным для людей с разным уровнем подготовки.
Сегодня мы вводим ряд обновлений для MusicFX DJ, включая расширенный набор интуитивных элементов управления, переработанный интерфейс, повышенное качество звука и новые поведенческие модели. Эти функции позволяют генерировать и направлять непрерывный поток музыки, делиться результатами с друзьями и проводить совместные джем-сессии.
В тесном сотрудничестве с выдающимся музыкантом мы разработали эти изменения, чтобы сделать MusicFX DJ более доступным, полезным и вдохновляющим.
В отличие от классических DJ-инструментов, которые комбинируют готовые треки, MusicFX DJ создает совершенно новую музыку, позволяя смешивать музыкальные идеи через текстовые описания. С помощью MusicFX DJ пользователи могут объединять любимые жанры, инструменты и настроения для изобретения новых стилей, импровизации живых сетов или поиска свежих мелодий, тембров и ритмов для своих проектов.
Хотя это не традиционный инструмент, MusicFX DJ служит удобной и выразительной отправной точкой для создания живой музыки. Независимо от опыта, он предоставляет простые средства для генерации и управления уникальным, постоянно развивающимся звуковым ландшафтом.
Вы формируете эту реального времени звуковую массу, которая бесконечно удивляет и стремится к алхимическому соединению элементов, которые иначе казались бы маловероятными.
Два инновационных подхода лежат в основе MusicFX DJ. Во-первых, мы адаптировали оффлайн-модель генерации музыки для потоковой передачи в реальном времени. Это достигается за счет обучения модели генерировать следующий фрагмент на основе предыдущего и текстовых подсказок от пользователя.
Во-вторых, вместо одной фиксированной текстовой подсказки, как в обычных моделях текст-в-музыку, мы позволяем смешивать несколько подсказок и изменять их пропорции со временем. Модель реализует это, комбинируя представления каждой подсказки, называемые эмбеддингами, с учетом их относительной значимости, задаваемой ползунком. Эти объединенные эмбеддинги помогают направлять стиль музыки.
Схема, иллюстрирующая, как MusicFX DJ создает непрерывный поток музыки, генерируя следующий фрагмент из предыдущих, под управлением текстовых подсказок и ползунков для их веса.
Разработка более интуитивных элементов управления
Мы стремились создать специальные контролы, которые были бы понятны новичкам, стимулировали эксперименты и предлагали разнообразные пути для творчества помимо простых текстовых описаний.
С новыми контролами MusicFX DJ пользователи могут управлять инструментовкой, легко создавая breakdowns и bass drops путем удаления или добавления басов, барабанов и других элементов. Они могут корректировать текстурные характеристики, такие как яркость или темность, повторяемость или случайность, гладкость или шероховатость звучания.
Пользователи также могут регулировать тональность и темп, что упрощает игру в унисон с существующей музыкой или с другими во время длительных сессий. Команды с удовольствием используют MusicFX DJ вместе с традиционными инструментами, и мы ждем интересных результатов от других.
Генерация звука профессионального качества
В рамках сотрудничества мы рассмотрели, как вывод модели может служить источником вдохновения и частью крупного произведения. Однако ранние модели не обладали достаточным качеством для профессионального аудио. Благодаря последним достижениям в аудиоисследованиях, включая новые нейронные аудиокодеки и оптимизированные архитектуры сетей, MusicFX DJ теперь транслирует аудио профессионального качества в 48 кГц стерео в реальном времени.
Обмен и скачивание аудио
Вдохновленные акцентом на творческое сотрудничество с другими артистами и аудиторией, мы упростили обмен и взаимодействие с музыкой из MusicFX DJ. Пользователи теперь могут скачивать 60 секунд своего аудио и делиться сессиями с друзьями, которые просматривают воспроизведение выступления и могут в любой момент взять управление, направляя музыку в новом направлении.
Расширенный набор инструментов Music AI Sandbox
Music AI Sandbox — это экспериментальный комплекс инструментов ИИ для музыки, предназначенный для ускорения рабочих процессов музыкантов, продюсеров и авторов песен, сотрудничающих через Music AI Incubator от YouTube. Он послужил ценной платформой для сбора отзывов от разнообразных артистов, авторов и партнеров из индустрии о наших самых передовых генеративных музыкальных инструментах. Хотя Music AI Sandbox пока не доступен публично, успешные элементы будут интегрированы в общедоступные продукты Google.
С момента публичной демонстрации на I/O этого года мы тесно работаем с командой Technology & Society от Google, чтобы улучшить пользовательский опыт и связаться с художественным сообществом для получения обратной связи. Это позволило внести значительные улучшения в модели, стоящие за этим комплексом.
Вскоре проверенные тестеры смогут набросать песню и использовать многодорожечный вид для организации и доработки композиций с точными контролами. Новая версия Music AI Sandbox включает наши последние технологии, такие как модели для MusicFX DJ, а также популярные функции вроде генерации петель, трансформации звуков и инпеинтинга для seamless соединения частей треков.
Снимок экрана интерфейса обновленного Music AI Sandbox с многодорожечным видом для организации и доработки композиций с точными контролами.
Эксперимент Dream Track от YouTube теперь генерирует инструментальные саундтреки
Продолжая работу с YouTube, мы развили эксперимент Dream Track, позволяя создателям в США исследовать различные жанры и подсказки для генерации инструментальных саундтреков с мощными моделями текст-в-музыку.
Наши новейшие модели генерации музыки обучены с использованием новаторского подхода reinforcement learning, что обеспечивает более высокое качество аудио и лучшее внимание к нюансам текстовых подсказок пользователей. Ответственное внедрение генеративных технологий — ключевой принцип наших ценностей, поэтому вся музыка, созданная MusicFX DJ и Dream Track, помечена водяными знаками с помощью SynthID.
Совместное строительство будущего создания музыки
Нас радует сотрудничество с партнерами из музыкального сообщества в прошлом году, помогающее разрабатывать технологии, которые отвечают нуждам профессионалов и расширяют доступ для нового поколения музыкантов.
Мы с нетерпением ждем углубления этих партнерств для совместного создания будущего музыкального творчества, разрабатывая еще более эффективные инструменты для вдохновения.