Stability AI
заходят в анимацию.
Выпустили SDK (software development kit) для генерации локально через веб-интерфейс или в Colab. Для генерации можно выбрать любую модель, включая Stable Diffusion 2 и SDXL. Длительность не ограничена.
Вариант генерации:
*
Text-2-animation: генерация видео по только по текстовому промту
*
Text+image: генерация на основе промта и реф картинки
*
Input video + text input: генерация на основе промта и реф видео
Важное: для генерации нужно подключение к серверам Stable Diffusion, то есть нужен их API. Его можно достать зарегавшись в
DreamStudio.
Генерации платные. При стандартном значении (512x512, 30 шагов) с использованием модели Stable Diffusion v1.5 анимация, состоящая из 100 кадров (около 8 с), использует 37,5 кредитов. Если поставить разрешение 1024x1024, то цена за операцию будет 0.23 кредита ($0.0023), а в режиме 3D рендера 0.696 кредита ($0.00696).
Анонс
Установка
Гайд по анимации
Colab