PhysGen
Диффузионные модели сейчас активно используются для генерации видео. В последнее время появляется много работ, посвящённых тому, как сделать качественный видеогенератор. Но соблюдаются ли законы физики в таких моделях? Можно ли по исходной картинке предположить движение объектов при воздействии на них определённых сил?
Авторы работы PhysGen подготовили пайплайн, который включает в себя реальную физическую симуляцию движения твёрдых тел для создания видеогенератора. В нашем обзоре мы посмотрим, как они это сделали и что у них получилось. А также узнаем:
- как проанализировать картинку, чтобы получить как можно больше знаний о физических объектах на этом изображении
- какую библиотеку использовать для качественной симуляции движения
- и как из симуляции зарендерить качественное видео
Читайте новую статью по ссылке: https://deepschool-pro.notion.site/PhysGen-e836c0895433459c82b6e36e013229a8?pvs=4