Представляем самую передовую модель генерации музыки и два новых эксперимента с ИИ, открывающие пространство для творчества
От джаза до хэви-метала, от техно до оперы — музыка остается одной из наиболее любимых форм художественного самовыражения. Сложные многослойные тексты, мелодии, ритмы и вокальные партии делают создание увлекательной музыки особенно трудной задачей для систем искусственного интеллекта — до сегодняшнего дня.
Сегодня, в сотрудничестве с YouTube, мы объявляем о модели Google DeepMind Lyria — нашей наиболее продвинутой системе генерации музыки на данный момент, а также о двух экспериментах с ИИ, предназначенных для расширения возможностей творчества:
- Dream Track — эксперимент в YouTube Shorts, направленный на укрепление связей между артистами, создателями контента и поклонниками через создание музыки.
- Инструменты ИИ для музыки — набор инструментов, разрабатываемых совместно с артистами, авторами песен и продюсерами для поддержки их творческих процессов.
Для реализации этих проектов мы объединили технических специалистов из различных подразделений Google с разнообразной группой всемирно известных артистов и авторов песен, чтобы изучить, как технологии генеративной музыки могут ответственно формировать будущее музыкального творчества. Мы воодушевлены возможностью создавать новые технологии, которые усиливают работу профессиональных музыкантов и сообщества артистов, внося позитивный вклад в развитие музыки.
Знакомство с моделью Lyria
Музыка несет в себе огромное количество информации — каждый удар, нота и вокальная гармония в каждой секунде. При генерации длинных последовательностей звуков моделям ИИ сложно сохранять музыкальную преемственность через фразы, куплеты или протяженные отрывки. Поскольку музыка часто включает несколько голосов и инструментов одновременно, ее создание значительно сложнее, чем синтез речи.
Разработанная Google DeepMind, модель Lyria превосходно справляется с генерацией высококачественной музыки, включая инструментальные партии и вокал, выполняет задачи трансформации и продолжения, а также предоставляет пользователям более тонкий контроль над стилем и исполнением результата.
Вдохновение для новой музыки в YouTube Shorts
Мы тестируем Lyria в эксперименте под названием Dream Track, который предназначен для проверки новых подходов к взаимодействию артистов с поклонниками и создан в партнерстве с YouTube.
В рамках этого эксперимента ограниченное число создателей сможет использовать Dream Track для производства уникального саундтрека с голосом и музыкальным стилем артистов, таких как Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Sia, T-Pain, Troye Sivan и Papoose. Каждый участвующий артист сотрудничает с нами и принимает участие в тестировании и обучении, чтобы формировать будущее ИИ в музыке.
Пользователи Dream Track могут просто ввести тему и выбрать артиста из карусели, чтобы сгенерировать 30-секундный саундтрек для своего Shorts. Используя модель Lyria, Dream Track одновременно создает текст, инструментальную основу и голос в стиле выбранного артиста.
Вот несколько примеров, сгенерированных в стилях Charlie Puth или T-Pain:
Изучение инструментов ИИ для музыки с представителями индустрии
Наши исследователи совместно с артистами, авторами песен и продюсерами в YouTube’s Music AI Incubator изучают, как генеративный ИИ может наиболее эффективно поддерживать творческий процесс, и работают над ответственным созданием набора инструментов ИИ для музыки.
Представьте, что вы напеваете мелодию, чтобы создать партию духовых инструментов, преобразовываете аккорды с MIDI-клавиатуры в реалистичный вокальный хор или добавляете инструментальное сопровождение к вокальной дорожке.
Louis Bell, продюсер и автор песен, создает трек всего лишь с помощью напева.
С помощью наших инструментов ИИ для музыки пользователи могут создавать новую музыку или инструментальные секции с нуля, преобразовывать аудио из одного музыкального стиля или инструмента в другой, а также генерировать инструментальные и вокальные сопровождения. Эта работа опирается на наш опыт исследований и экспериментов с ИИ и музыкой, и мы продолжим тестировать инструменты ИИ для музыки с участниками инкубатора на протяжении всего процесса разработки.
Пример пользовательского интерфейса наших инструментов ИИ для музыки.
Встраивание водяных знаков в аудио, сгенерированное ИИ, с помощью SynthID
Наша команда также лидирует в ответственном внедрении технологий, используя передовые инструменты для водяных знаков и идентификации синтетически созданного контента. Любой контент, опубликованный моделью Lyria, будет помечен водяным знаком с помощью SynthID — той же технологической платформы, которую мы применяем для идентификации изображений, созданных Imagen на Google Cloud’s Vertex AI.
SynthID преобразует аудио в визуальный спектрограмм для добавления цифрового водяного знака.
SynthID встраивает водяной знак в аудиоконтент, созданный ИИ, таким образом, чтобы он был неслышим для человеческого уха и не влиял на прослушивание. Для этого аудиоволна преобразуется в двухмерную визуализацию, показывающую эволюцию спектра частот звука во времени. Этот инновационный подход уникален и не имеет аналогов на сегодняшний день, особенно в сфере аудио.
Водяной знак разработан так, чтобы оставаться обнаруживаемым даже после многих распространенных изменений аудиоконтента, таких как добавление шума, сжатие MP3 или ускорение и замедление трека. SynthID также может выявлять наличие водяного знака на протяжении всего трека, помогая определить, были ли части песни сгенерированы Lyria.
Ответственная разработка и внедрение наших технологий
Чтобы максимизировать преимущества наших технологий генеративной музыки и минимизировать потенциальные риски, крайне важно разрабатывать их с использованием лучших защитных мер. Мы тесно сотрудничали с артистами и музыкальной индустрией, чтобы обеспечить широкую пользу от этих технологий.
Наши эксперименты с ИИ для музыки разработаны в соответствии с принципами ИИ YouTube, которые направлены на поддержку творческого выражения при защите музыкантов и целостности их работ.
В будущем мы продолжим взаимодействовать с артистами, музыкальной индустрией и более широким творческим сообществом, чтобы установить стандарты ответственной разработки и внедрения инструментов генерации музыки.
Будущее инструментов генеративной музыки
Технологии генеративной музыки могут радикально изменить будущее создания и использования музыки. Наша передовая работа в этой области откроет волну новых инструментов для артистов, которые вдохновят на творчество авторов песен, продюсеров и поклонников по всему миру.
Мы только начали исследовать, как ИИ может усиливать музыкальное творчество людей, и с нетерпением ждем, чего мы сможем достичь дальше в партнерстве с артистами, музыкальной индустрией и творческим сообществом.