Ai Filmmaker
Channel
3.18K
subscribers
Особенности создания кино и анимации при помощи нейросетей.
Для связи пишите: @alekseevdir
Ур Торум: Ai анимация
Те кто работает в индустрии производства разного рода творческого контента, знают как важна гибкость.
Множество факторов способны повлиять на процесс. Несвоевременные правки,смена настроений заказчиков, резкое сокращение бюджетов или времени на производство. И очень часто это губительно влияет на итоговый результат. Самым ярким примером в последние годы является деградация качества компьютерной графики в голливудских блокбастерах.
Для меня эта самая гибкость обрела новое значение при работе над проектами с использованием нейросетей.
Еще во время работы над клипом для группы Pain, некоторые кадры, были отложены на конец производства из-за отсутствия понимания как их сделать. И только после выхода новых ИИ инструментов, всё получилось.
Ур Торум не стал исключением. В начале лета мне пришло письмо от компании Luma Labs с приглашением на недельный закрытый бета тест их новой нейронки Dream Machine. А позже и вовсе дали доступ на год к премимум аккаунту.
Мы начали тестить и оказалось, что эта модель очень даже хорошо может анимировать составные части наших сцен. Так практически весь огонь, свечи, вороны на ветке и главный герой в паре сцен ожили в кратчайшие сроки.
А наш по большей части моушн комикс ролик, стал еще больше походить на анимационное кино.
Отдельного упоминания стоит сцена бега героя на крупном и общем плане.
Если с тем что 2D аниматоры из студии Blaster должны были анимировать персонажей с более точными движениями было всё ясно, то как быть с окружением если оно должно двигаться? Я пробовал собрать 3Д сцену леса из слоев в After Effects. Выглядело на превизе это мягко говоря так себе. Вот тут мне и пришла идея закинуть арт в Luma. И это была фееричная мазня!
Но первые пару секунд показали, что этот кадр может быть крутым и динамичным с ручной камерой! 2D аниматор начала рисовать персонажа по этому рефу а я закинул в Luma фон и написалпромт: pov оператор с ручной камерой бежит по лесу. Результат буквально с первых попыток получился хорошим. Но как органично вписать туда героя, анимация которого нарисованна в ручную? По заветам старого доброго Эндрю Крамера( те кто по старше знают его как гуру визуальных эффектов из подручных средств на домашнем компьютере с After Effects) я прилепил на стену бумажку с маркером движения и отснял видео на телефон имитируя тряску камеры при беге. После этого перенес движение камеры телефона на виртуальную камеру в сцену с бегом а персонажа и фон превратил в два 3Д слоя. Добавим размытия при движении и наша сцена готова!
Видео с кадрами в которых нам помогла Luma , а также разбор сцены бега вы можете увидеть выше.
И так как это последний пост о создании проекта "Ур Торум", в завершении хотелось бы сказать. Нейросети не изменят сами индустрию и вашу жизнь! Но вы можете изменить их используя нейросети!
Те кто работает в индустрии производства разного рода творческого контента, знают как важна гибкость.
Множество факторов способны повлиять на процесс. Несвоевременные правки,смена настроений заказчиков, резкое сокращение бюджетов или времени на производство. И очень часто это губительно влияет на итоговый результат. Самым ярким примером в последние годы является деградация качества компьютерной графики в голливудских блокбастерах.
Для меня эта самая гибкость обрела новое значение при работе над проектами с использованием нейросетей.
Еще во время работы над клипом для группы Pain, некоторые кадры, были отложены на конец производства из-за отсутствия понимания как их сделать. И только после выхода новых ИИ инструментов, всё получилось.
Ур Торум не стал исключением. В начале лета мне пришло письмо от компании Luma Labs с приглашением на недельный закрытый бета тест их новой нейронки Dream Machine. А позже и вовсе дали доступ на год к премимум аккаунту.
Мы начали тестить и оказалось, что эта модель очень даже хорошо может анимировать составные части наших сцен. Так практически весь огонь, свечи, вороны на ветке и главный герой в паре сцен ожили в кратчайшие сроки.
А наш по большей части моушн комикс ролик, стал еще больше походить на анимационное кино.
Отдельного упоминания стоит сцена бега героя на крупном и общем плане.
Если с тем что 2D аниматоры из студии Blaster должны были анимировать персонажей с более точными движениями было всё ясно, то как быть с окружением если оно должно двигаться? Я пробовал собрать 3Д сцену леса из слоев в After Effects. Выглядело на превизе это мягко говоря так себе. Вот тут мне и пришла идея закинуть арт в Luma. И это была фееричная мазня!
Но первые пару секунд показали, что этот кадр может быть крутым и динамичным с ручной камерой! 2D аниматор начала рисовать персонажа по этому рефу а я закинул в Luma фон и написалпромт: pov оператор с ручной камерой бежит по лесу. Результат буквально с первых попыток получился хорошим. Но как органично вписать туда героя, анимация которого нарисованна в ручную? По заветам старого доброго Эндрю Крамера( те кто по старше знают его как гуру визуальных эффектов из подручных средств на домашнем компьютере с After Effects) я прилепил на стену бумажку с маркером движения и отснял видео на телефон имитируя тряску камеры при беге. После этого перенес движение камеры телефона на виртуальную камеру в сцену с бегом а персонажа и фон превратил в два 3Д слоя. Добавим размытия при движении и наша сцена готова!
Видео с кадрами в которых нам помогла Luma , а также разбор сцены бега вы можете увидеть выше.
И так как это последний пост о создании проекта "Ур Торум", в завершении хотелось бы сказать. Нейросети не изменят сами индустрию и вашу жизнь! Но вы можете изменить их используя нейросети!
Forwarded from BLACKTRACED (Sergey Kozlov)
This media is not supported in your browser
VIEW IN TELEGRAM
Ур Торум: Дизайн локаций
С дизайном локаций было попроще. Хоть мы и не собирались делать аниме, но именно то, как реалистично нарисованы фоны в полнометражных аниме, нам было нужно.
У нас в ролике преимущественно лес, если с интерьерами всё было более ли менее понятно (интерьеры, кстати, делались по той же технике, что и персонажи), то с лесом должно было быть какое-то иное решение. Потому что деревья у Midjourney в контексте густого леса — это всегда кошмар, они слепляются друг с другом или странно «врастают» одно в другое, всё в таком духе. Плюс, одна из странных и непонятных мне обязательных фишек у MJ при генерации леса — почти всегда присутствует туман или густой дым, который приходится убирать.
Решение по визуалу пришло само собой, когда Дима показал мне первые черновые генерации монстра в лесу. На них лес был нарисован нейронкой так, что заснеженная земля была детализированной и объёмной, а деревья и всякие торчащие палочки-веточки были просто силуэтами практически без какой-либо детализации. Я предложил, что вот именно таким мы должны делать лес. В моём понимании, эти чёрные силуэты деревьев больше вызывали ощущение, что это мистический и жуткий лес, в котором обитает нечто жуткое. В итоге, эту черновую генерацию взяли как Style Reference для всех сцен с лесом.
У меня сразу появилось несколько идей, как можно манипулировать изображениями с таким упрощённым визуалом, чтобы при этом мы не жертвовали киношностью и сцены не выглядели плоскими. В прикреплённом видео Вы можете посмотреть одни из сделанных мною сцен в лесу. Благодаря таким простым формам, я создавал фейковую глубину кадра, делая параллаксы и искажения.
Если немного глубже копнуть в процесс, возьмём, к примеру, ту сцену, где камера плывет за ведьмой над деревьями: я сделал кучу вариаций одной генерации, из кусков которых потом руками лепил финальную сцену, заодно оставляя элементы сцены на отдельных слоях, чтобы их анимировать. Сама анимация в этой сцене — это обычное движение слоев вниз + стандартный инструмент Mesh Warp в AE. Как итог, передать ощущение того, будто мы правда продвигаемся куда-то вглубь кадра, думаю, у меня получилось.
Если Вам интересно узнать подробнее, как делались другие сцены, спрашивайте в комментариях. Свои заключительные мысли о создании ролика и о работе с нейронками для создания подобных проектов, я напишу в следующей части.
#AI #Midjourney #нейросети #анимация
😳 @BLACKTRACED
С дизайном локаций было попроще. Хоть мы и не собирались делать аниме, но именно то, как реалистично нарисованы фоны в полнометражных аниме, нам было нужно.
У нас в ролике преимущественно лес, если с интерьерами всё было более ли менее понятно (интерьеры, кстати, делались по той же технике, что и персонажи), то с лесом должно было быть какое-то иное решение. Потому что деревья у Midjourney в контексте густого леса — это всегда кошмар, они слепляются друг с другом или странно «врастают» одно в другое, всё в таком духе. Плюс, одна из странных и непонятных мне обязательных фишек у MJ при генерации леса — почти всегда присутствует туман или густой дым, который приходится убирать.
Решение по визуалу пришло само собой, когда Дима показал мне первые черновые генерации монстра в лесу. На них лес был нарисован нейронкой так, что заснеженная земля была детализированной и объёмной, а деревья и всякие торчащие палочки-веточки были просто силуэтами практически без какой-либо детализации. Я предложил, что вот именно таким мы должны делать лес. В моём понимании, эти чёрные силуэты деревьев больше вызывали ощущение, что это мистический и жуткий лес, в котором обитает нечто жуткое. В итоге, эту черновую генерацию взяли как Style Reference для всех сцен с лесом.
У меня сразу появилось несколько идей, как можно манипулировать изображениями с таким упрощённым визуалом, чтобы при этом мы не жертвовали киношностью и сцены не выглядели плоскими. В прикреплённом видео Вы можете посмотреть одни из сделанных мною сцен в лесу. Благодаря таким простым формам, я создавал фейковую глубину кадра, делая параллаксы и искажения.
Если немного глубже копнуть в процесс, возьмём, к примеру, ту сцену, где камера плывет за ведьмой над деревьями: я сделал кучу вариаций одной генерации, из кусков которых потом руками лепил финальную сцену, заодно оставляя элементы сцены на отдельных слоях, чтобы их анимировать. Сама анимация в этой сцене — это обычное движение слоев вниз + стандартный инструмент Mesh Warp в AE. Как итог, передать ощущение того, будто мы правда продвигаемся куда-то вглубь кадра, думаю, у меня получилось.
Если Вам интересно узнать подробнее, как делались другие сцены, спрашивайте в комментариях. Свои заключительные мысли о создании ролика и о работе с нейронками для создания подобных проектов, я напишу в следующей части.
#AI #Midjourney #нейросети #анимация
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Ур Торум: Предпродакшн
Одним из главных плюсов нейросетей - это быстрый тест своих идей. Почти всегда на первых этапах работы над проектами, то что у тебя в голове часто не работает на практике. А также цена ошибки не так велика. Ведь когда задуманное одним человеком должно превратиться в труд множества людей, то и ответственность другая.
Ну и в конце концов это возможность дать своему внутреннему ребенку художнику увидеть первые плоды творчества и порадоваться, как классно всё будет. Увидев первые подходящие тестовые изображения, я не удержался и склеил их в один небольшой муд ролик. Ощущение что мы идем правильным путем усилилось.
Также это производит один интересный эффект. Одним из начальных этапов производства роликов является бордоматик. Это монтаж статичных картинок раскадровки, которые показывают как складывается история во времени и каком темпо-ритме. А уже потом или делается продвинутый анимированный черновик в виде аниматика или сразу чистовая съемка. Но здесь эти границы стираются. Те арты что сгенерированы для бордоматика, после утверждения сразу берутся в работу, чистятся от артефактов и анимируются в финальный вариант.
Ниже вы можете увидеть тестовую сборку, в которой можно заметить первоначальный образ монстра, который изменился в процессе.
Одним из главных плюсов нейросетей - это быстрый тест своих идей. Почти всегда на первых этапах работы над проектами, то что у тебя в голове часто не работает на практике. А также цена ошибки не так велика. Ведь когда задуманное одним человеком должно превратиться в труд множества людей, то и ответственность другая.
Ну и в конце концов это возможность дать своему внутреннему ребенку художнику увидеть первые плоды творчества и порадоваться, как классно всё будет. Увидев первые подходящие тестовые изображения, я не удержался и склеил их в один небольшой муд ролик. Ощущение что мы идем правильным путем усилилось.
Также это производит один интересный эффект. Одним из начальных этапов производства роликов является бордоматик. Это монтаж статичных картинок раскадровки, которые показывают как складывается история во времени и каком темпо-ритме. А уже потом или делается продвинутый анимированный черновик в виде аниматика или сразу чистовая съемка. Но здесь эти границы стираются. Те арты что сгенерированы для бордоматика, после утверждения сразу берутся в работу, чистятся от артефактов и анимируются в финальный вариант.
Ниже вы можете увидеть тестовую сборку, в которой можно заметить первоначальный образ монстра, который изменился в процессе.
Forwarded from BLACKTRACED (Sergey Kozlov)
Ур Торум: Дизайн персонажей
Этап обсуждения дизайна персонажей у нас начался чуть раньше общего визуала (о котором я расскажу в следующей части). Изначально у Дмитрия были мысли снова сделать аниме, так как после предыдущего проекта у нас была рабочая формула, но обсудив это, мы оба пришли к выводу, что аниме в контексте нынешнего проекта не подойдет. Причём, основным инструментом для разработки визуала была уже не Niji V5, как на предыдущем проекте, а MJ V6, со своим пониманием промптов и иным результатом, поэтому старый метод не гарантировал успеха сейчас.
Я предложил держать курс в сторону «нарисованного кино», персонажи должны быть в стиле европейской анимации и выглядеть достаточно натурально, чтобы гармонировать с серьёзным и мрачным тоном произведения, чтобы при просмотре возникало ощущение, будто это в первую очередь некий анимационный фильм, а не мультик.
Чтобы добиться нужного результата, у меня был такой подход: сперва я генерировал фотореалистичные кинематографические стиллшоты, а затем использовал их как референс для их трансформации в анимационный стиль, имея возможность контролировать степень реализма в дизайне персонажей.
Первые тесты получились неплохими, я более ли менее слепил ключевой стиль, который можно было вшивать в промпты для генерации других героев. Из этих технических тестовых изображений Дима собрал мини-тизер, чтобы мы смогли оценить, как шоты смотрятся вместе, заодно показать клиенту и студии анимации, в каком направлении мы собрались двигаться. Но нужно было учитывать два важных момента — рандом нейросетей и смогут ли в таком стиле работать аниматоры, в обозначенных временных рамках.
Казалось бы, формула найдена, но тут, конечно же, палки в колёса начал вставлять рандом. Персонажи получались то слишком уродскими, то слишком реалистичными, то MJ просто не попадал в заданный стиль и эстетику, делая нечто иное. Посоветовавшись с Дмитрием, мы приняли решение упрощать визуал в более "мультяшную" эстетику. Во-первых, простой дизайн будет возможность поправить руками, а во-вторых, всё равно нужно было адаптировать стиль для комфортной работы аниматоров.
Упростили. Когда MJ плюс-минус начал поддаваться, мы сгенерировали персонажей для всех сцен, примерно замэтчив их по стилю, и далее руками пришлось доделывать почти всё. Тут сыграло ещё важную роль то, что большинство персонажей были всего на пару сцен. А вот с главным героем пришлось повозиться. По итогу получилось так, что мы сгенерировали эталон главного героя, использовали его для генерации примерно похожего на себя во всех сценах персонажа и затем снова руками я его дорабатывал, с фиксами по одежде и тд, и затем уже такой готовый вариант передавался аниматорам. В этом плане было, конечно, достаточно много ручной работы. Не говоря уже о том, что для каждой сцены уходило чуть ли не под сотню попыток, чтобы получить даже не идеальный результат.
В прикреплённых к посту изображениях, Вы можете посмотреть первые тесты, сырые генерации и сравнение с финальным результатом.
#AI #Midjourney #нейросети #анимация
😳 @BLACKTRACED
Этап обсуждения дизайна персонажей у нас начался чуть раньше общего визуала (о котором я расскажу в следующей части). Изначально у Дмитрия были мысли снова сделать аниме, так как после предыдущего проекта у нас была рабочая формула, но обсудив это, мы оба пришли к выводу, что аниме в контексте нынешнего проекта не подойдет. Причём, основным инструментом для разработки визуала была уже не Niji V5, как на предыдущем проекте, а MJ V6, со своим пониманием промптов и иным результатом, поэтому старый метод не гарантировал успеха сейчас.
Я предложил держать курс в сторону «нарисованного кино», персонажи должны быть в стиле европейской анимации и выглядеть достаточно натурально, чтобы гармонировать с серьёзным и мрачным тоном произведения, чтобы при просмотре возникало ощущение, будто это в первую очередь некий анимационный фильм, а не мультик.
Чтобы добиться нужного результата, у меня был такой подход: сперва я генерировал фотореалистичные кинематографические стиллшоты, а затем использовал их как референс для их трансформации в анимационный стиль, имея возможность контролировать степень реализма в дизайне персонажей.
Первые тесты получились неплохими, я более ли менее слепил ключевой стиль, который можно было вшивать в промпты для генерации других героев. Из этих технических тестовых изображений Дима собрал мини-тизер, чтобы мы смогли оценить, как шоты смотрятся вместе, заодно показать клиенту и студии анимации, в каком направлении мы собрались двигаться. Но нужно было учитывать два важных момента — рандом нейросетей и смогут ли в таком стиле работать аниматоры, в обозначенных временных рамках.
Казалось бы, формула найдена, но тут, конечно же, палки в колёса начал вставлять рандом. Персонажи получались то слишком уродскими, то слишком реалистичными, то MJ просто не попадал в заданный стиль и эстетику, делая нечто иное. Посоветовавшись с Дмитрием, мы приняли решение упрощать визуал в более "мультяшную" эстетику. Во-первых, простой дизайн будет возможность поправить руками, а во-вторых, всё равно нужно было адаптировать стиль для комфортной работы аниматоров.
Упростили. Когда MJ плюс-минус начал поддаваться, мы сгенерировали персонажей для всех сцен, примерно замэтчив их по стилю, и далее руками пришлось доделывать почти всё. Тут сыграло ещё важную роль то, что большинство персонажей были всего на пару сцен. А вот с главным героем пришлось повозиться. По итогу получилось так, что мы сгенерировали эталон главного героя, использовали его для генерации примерно похожего на себя во всех сценах персонажа и затем снова руками я его дорабатывал, с фиксами по одежде и тд, и затем уже такой готовый вариант передавался аниматорам. В этом плане было, конечно, достаточно много ручной работы. Не говоря уже о том, что для каждой сцены уходило чуть ли не под сотню попыток, чтобы получить даже не идеальный результат.
В прикреплённых к посту изображениях, Вы можете посмотреть первые тесты, сырые генерации и сравнение с финальным результатом.
#AI #Midjourney #нейросети #анимация
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Ур Торум: Предпродакшн
У Крис Велрайт помимо "Ур Торум" есть и другие произведения разворачивающиеся в этой же вселенной. И их особенность в том что этот фентези мир базируется в большей степени на культуре и исторических особенностях Древнего Китая. После нашего предыдущего проекта, конечно же хотелось дальше развиать тему кинематографичного аниме. Но как показали тесты визуала , нейросеть очень условно и с обилием множества мелких деталей и артефактов создает китайскую эстетику. Это мешало созданию мрачного кинематографичного стиля, который бы органично анимировался. Поэтому было принято решение делать визуал на стыке аниме и европейской кинематографичной анимации.
С этой задачей отлично справился Сергей. Подробнее о чем он расскажет сам в следующем посте.
У Крис Велрайт помимо "Ур Торум" есть и другие произведения разворачивающиеся в этой же вселенной. И их особенность в том что этот фентези мир базируется в большей степени на культуре и исторических особенностях Древнего Китая. После нашего предыдущего проекта, конечно же хотелось дальше развиать тему кинематографичного аниме. Но как показали тесты визуала , нейросеть очень условно и с обилием множества мелких деталей и артефактов создает китайскую эстетику. Это мешало созданию мрачного кинематографичного стиля, который бы органично анимировался. Поэтому было принято решение делать визуал на стыке аниме и европейской кинематографичной анимации.
С этой задачей отлично справился Сергей. Подробнее о чем он расскажет сам в следующем посте.
Media is too big
VIEW IN TELEGRAM
Ур Торум: Предпродакшн
После написания сценария ролика по ключевым сценам повести встал вопрос реализации задуманного. Как это будет выглядеть? Как передать те самые ощущения мира и истории на экран?
Для начала, чтобы показать свое режиссерское видение, обычно я делаю сизл трейлер (ролик собранный из кадров других фильмов на схожую тематику). Это позволяет уже на первых вариантах монтажа, увидеть все ошибки допущенные в сценарии и доработать повествование на монтаже.
Но как быть с персонажами, которые произносят реплики в кадре? Обычно для презентации своих идей через такие черновые ролики, делают либо свою озвучку, либо берут из фильмов общие подходящие фразы. Это была не наша история, ведь это был фактически первый черновик нашего трейлера.
И тут на помощь пришел нейросетевой генератор озвучки Steos Voice. А именно режим клонирования голоса, когда в ответ на ваше голосовое присылается "переозвучка" выбранным из базы голосом. В нем содержится огромная база голосов актеров озвучания из известных игр. И это идеальный инструменты для черновой озвучки, которая позволяет понять какие голоса будут органичны, а также для более точного тайминга монтажа. Так весело я и провел время играя то сурового старосту, то ехидную ведьму.
Ниже вы можете увидеть тот самый сизл трейлер.
После написания сценария ролика по ключевым сценам повести встал вопрос реализации задуманного. Как это будет выглядеть? Как передать те самые ощущения мира и истории на экран?
Для начала, чтобы показать свое режиссерское видение, обычно я делаю сизл трейлер (ролик собранный из кадров других фильмов на схожую тематику). Это позволяет уже на первых вариантах монтажа, увидеть все ошибки допущенные в сценарии и доработать повествование на монтаже.
Но как быть с персонажами, которые произносят реплики в кадре? Обычно для презентации своих идей через такие черновые ролики, делают либо свою озвучку, либо берут из фильмов общие подходящие фразы. Это была не наша история, ведь это был фактически первый черновик нашего трейлера.
И тут на помощь пришел нейросетевой генератор озвучки Steos Voice. А именно режим клонирования голоса, когда в ответ на ваше голосовое присылается "переозвучка" выбранным из базы голосом. В нем содержится огромная база голосов актеров озвучания из известных игр. И это идеальный инструменты для черновой озвучки, которая позволяет понять какие голоса будут органичны, а также для более точного тайминга монтажа. Так весело я и провел время играя то сурового старосту, то ехидную ведьму.
Ниже вы можете увидеть тот самый сизл трейлер.
Telegram Center
Channel