Как использовать Midjourney для создания видео. Алекс Крол

Теория каст и ролей 12 янв. 2023 г.

Белоснежка | ChatGPT — телеграм бот создающий сложные, отличные промты для Midjourney из одного слова или нескольких абзацев статьи.

Сделать видео в GEN 2

0:00

1. Попросить ChatGPT написать сценарий для короткого ролика про человека в квартире в стиле sci-fi.

2. В Midjourney сгенерировать кадр с мужчиной, который сидит в свой комнате и держит светящийся шар.

3. Снять на iPhone несколько роликов по сценарию, написанному CharGPT. Роль шара играет рулон туалетной бумаги.

4. Загрузить получившиеся видео и изображение из Midjorney в Gen-2

5. Получившиеся видео склеить в iMovie.

6. Добавить сгенерированную музыку из Boomy.

Сделать видео в WonderDyamics

Если вы думаете, что это видео — кропотливая работа какого-нибудь монтажёра, то сильно ошибётесь. Это видео было полностью сгенерировано нейросетью WonderDyamics

0:00

Пример создания 30 минутного видеоролика с Midjourney

Midjourney не создает видео, но вот пример создания 30 минутного видеоролика с Midjourney. Автор, известный писатель Алекс Крол.

Таня сделала клип, используя 100%, арт сгенерированный ИИ (Midjourney).

За основу была взята обычная беседа в вовремя утреннего кофе. Первая попытка, по сути набор свободных ассоциаций, не было явного сюжета, но Таня пыталась как-то соотнести с текстом. Сам опыт очень интересный, и смотрим, как можно использовать для полноценного продакшена. Пока есть сложности получать именно то, что хочешь, но для музыкальных или ассоциативных клипов в стиле потока сознания вполне.

Сам опыт работы с Midjourney очень интересный, и нет, это не просто накидали какие-то тексты. Получить то, что нужно совсем не тривиальная задача и требует огромного числа итераций. Учитывая, что финальный фильм почти 32 минут, это почти 300 монтажных склеек. Никакого композа не применяли, по сути коллаж. Пришлось создать 2500 артов, чтобы отобрать примерно 300, хотя, по большому счету, нормальное соотношение выхода полезный сигнал/ шум можно считать 1/20, 1/50.

Промпты Таня придумывала на русском, потом пропускали его через jasper.ai (перевод + рефрейз) на английский и уже кормила ИИ + параметры + референсы во многих случаях. С базой референсов не парились - интернет + открытые стоки - это экспериментальный проект, никакой коммерческой нагрузки. Но текст и трек 100% авторский.

Следующий этап - научиться делать норм. сюжетный сториборд, комикс и аниматик. Одно можно сказать точно - если бы такой объем делал человек, это взяло бы несколько месяцев и пару десятков тысяч долларов. Таня сделала по факту на 2 недели, учитывая, что она блистательный режиссер монтажа и музыкальный редактор, но никак не художник. Правда, сидела, как углекоп в шахте, глаза горят - короче, наркоман, как любой творческий человек.

Уверен инструмент будет развиваться, мы в самом начал, и еще многому предстоит научиться. По крайне мере понятно, как все делать для плоских картинок. Скоро подъедет 3D.

Деталь. Озвучку не делали специально - это просто запись на айфогчег, и потом мастеринг требует в среднем 1/20. Т.е. 1 минута на вход требует от 10 до 20 минут мастеринга. Ну а 40 минут - рабочий день. И тут Adobe выкатывает инструмент, когда нажали кнопку и усе. На базе ИИ, ессно. Мы еще не тестили, но продакшн становится все более доступным.

Sergey Tsyptsyn спасибо тебе, что втянул нас в эту авантюру. Я понимаю, что нам далеко до монстров, но мы тянемся. Следующий проект уже будет посерьезней. До этого мы юзали Renderforest (это такой простой сток).

UD: Сама механика работы с генератором - жесткая механика Скиннера с переменным вознаграждением, очень липкая и аддиктивная.