Новая модель для генерации музыки по тексту —
JEN-1.
Из интересного:
* Выдаёт гармоничный звук хорошего качества
* Можно генерить вариации
* Inpaiting — вписываем нужный звук в трек
* Continuation — генерим продолжение звука или восполняем пробел
* Zero-shot — создаём аудио, не основываясь на тренировочных данных.
Есть ещё
JEN-1 Composer, который генерит мульти-треково, то есть каждый стем в отдельную дорожку, чтобы было легче дальше редактировать. Причём ему можно подавать на вход свои музыкальные наработки для каждого инструмента, и он сведёт их. Каких инструментов нет, может сгенерировать.
Также на днях к ним присоединился Mike Caren, ранее занимавший руководящие должности в Warner Music Group, Elektra Records + Atlantic Records. У него свой лейбл Artist Partner Group, также он писал и продюссировал треки Beyoncé, Kanye West, Bruno Mars.
Есть доки с описанием как тренировали и на каких данных.
Пощупать пока нельзя, но есть
демки на их сайте.