Компания OpenAI ведет разработку инновационного инструмента, способного создавать музыкальные композиции на основе текстовых описаний и аудио-сигналов, как указано в материале издания The Information.
Такой инструмент позволит добавлять фоновую музыку к готовым видеороликам или создавать гитарное сопровождение для уже записанного вокала, по словам инсайдеров. Пока остается неизвестным, когда именно OpenAI планирует представить этот продукт и будет ли он выпущен как отдельное приложение, а не как часть интеграции с чат-ботом ChatGPT и видео-приложением Sora.
Инсайдер сообщил The Information, что OpenAI сотрудничает с несколькими студентами престижной Джульярдской школы музыки, чтобы они аннотировали музыкальные партитуры и таким образом подготовили данные для обучения модели.
Ранее OpenAI уже представляла модели для генерации музыки, но эти разработки относятся к периоду до появления ChatGPT; в последние годы акцент в работе компании с аудио-моделями сместился на функции преобразования текста в речь и речи в текст. В число других компаний, владеющих технологиями генерации музыки, входят Google и Suno.