Как использовать Midjourney для создания видео. Алекс Крол

Midjourney 12 янв. 2023 г.

Midjourney не создает видео, но вот пример создания 30 минутного видеоролика с Midjourney. Автор, известный писатель Алекс Крол.

Таня сделала клип, используя 100%, арт сгенерированный  ИИ (Midjourney).

За основу была взята обычная беседа в вовремя утреннего кофе. Первая попытка, по сути набор свободных ассоциаций, не было явного сюжета, но Таня пыталась как-то соотнести с текстом. Сам опыт очень интересный, и смотрим, как можно использовать для полноценного продакшена. Пока есть сложности получать именно то, что хочешь, но для музыкальных или ассоциативных клипов в стиле потока сознания вполне.

Сам опыт работы с Midjourney очень интересный, и нет, это не просто накидали какие-то тексты. Получить то, что нужно совсем не тривиальная задача и требует огромного числа итераций. Учитывая, что финальный фильм почти 32 минут, это почти 300 монтажных склеек. Никакого композа не применяли, по сути коллаж. Пришлось создать 2500 артов, чтобы отобрать примерно 300, хотя, по большому счету, нормальное соотношение выхода полезный сигнал/ шум можно считать 1/20, 1/50.

Промпты Таня придумывала на русском, потом пропускали его через jasper.ai (перевод + рефрейз) на английский и уже кормила ИИ + параметры + референсы во многих случаях. С базой референсов не парились - интернет + открытые стоки - это экспериментальный проект, никакой коммерческой нагрузки. Но текст и трек 100% авторский.

Следующий этап - научиться делать норм. сюжетный сториборд, комикс и аниматик. Одно можно сказать точно - если бы такой объем делал человек, это взяло бы несколько месяцев и пару десятков тысяч долларов. Таня сделала по факту на 2 недели, учитывая, что она блистательный режиссер монтажа и музыкальный редактор, но никак не художник. Правда, сидела, как углекоп в шахте, глаза горят - короче, наркоман, как любой творческий человек.

Уверен инструмент будет развиваться, мы в самом начал, и еще многому предстоит научиться.  По крайне мере понятно, как все делать для плоских картинок. Скоро подъедет 3D.

Деталь. Озвучку не делали специально - это просто запись на айфогчег, и потом мастеринг требует в среднем 1/20. Т.е. 1 минута на вход требует от 10 до 20 минут мастеринга. Ну а 40 минут - рабочий день. И тут Adobe выкатывает инструмент, когда нажали кнопку и усе. На базе ИИ, ессно. Мы еще не тестили, но продакшн становится все более доступным.

Sergey Tsyptsyn спасибо тебе, что втянул нас в эту авантюру. Я понимаю, что нам далеко до монстров, но мы тянемся. Следующий проект уже будет посерьезней. До этого мы юзали Renderforest (это такой простой сток).

UD: Сама механика работы с генератором - жесткая механика Скиннера с переменным вознаграждением, очень липкая и аддиктивная.

Подписывайтесь на новости Цифровой фабрики в Telegram:
Журнал Цифровая фабрика — всё об использовании новых технологий в жизни, культуре и продажах

Обложка: Midjourney

Теги

Great! You've successfully subscribed.
Great! Next, complete checkout for full access.
Welcome back! You've successfully signed in.
Success! Your account is fully activated, you now have access to all content.

Все представленные на сайте материалы предназначены исключительно для образовательных целей и не предназначены для медицинских консультаций, диагностики или лечения. Администрация сайта, редакторы и авторы статей не несут ответственности за любые последствия и убытки, которые могут возникнуть при использовании материалов сайта.