Есть крутой опенсорсный text-2-speech (TTS) проект Coqui. У них в наличии имеется сайт, на котором много голосовых пресетов, есть настройка скорости произношения, легко клонировать речь и генерить на её основе фразы на разных языках. Также у них репо на гитхабе Coqui TTS, которое используется разными проектами, как база для работы голосом. Тут есть поддержка Bark для клонирования, предобученные модели на 1100+ языков, Tortoise для быстрого инференса, API, и смешивание голосов. Можно натренить модель на своих данных, если нужно. Однако эта модель по качеству генераций уступает той, что на сайте — XTTS, которая после пробника перекрыта платкой. Теперь они выложили веса XTTS в открытый доступ. Что имеем: * клонирование голоса по 3 секундам (больше-лучше) * генерация клонированным голосом на по тексту разных языках * качество в 24khz Camenduru уже запилил колаб. Заодно вот модель Wav2Lip для липсинка... Собираем в режиме лего опенсорсный Heygen. Сайт Coqui Демо (HF) Демо (колаб) Гитхаб Веса на HF