Tutorograd commited on
Commit
77d597e
1 Parent(s): bb16ee2

Create temporal_consistency_experiment_0.md

Browse files
temporal_consistency_experiment_0.md ADDED
@@ -0,0 +1,34 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <a href="https://www.facebook.com/groups/aiartuniverse/permalink/753533336411903/">ОРИГИНАЛ ГАЙДА</a>
2
+
3
+ <h2>Как сделать так же?</h2>
4
+ <ol>
5
+ <li>Возьмите ваше видео и экспортируйте все его кадры в формате 512x512 пикселей. В моем случае, я выбрал своего песеля, длительность видео составляет всего 3-4 секунды.</li>
6
+ <li>Осмотрите все и отберите 4 лучших ключевых кадра. Ключевые кадры должны включать первые и последние кадры, а также еще пару кадров, в которых происходит смена действия (например, поворот головы, открывание рта и т. д.).</li>
7
+ <li>Поместите выбранные ключевые кадры в другую папку и упорядочите их в сетке. Я использую сервис <a href="https://www.codeandweb.com/free-sprite-sheet-packer" target="_blank">codeandweb</a>. Проверьте, чтобы между кадрами не было пробелов и лишнего пространства.</li>
8
+ <li>Вставьте изображение с сеткой в ControlNet и попросите Stable Diffusion что-нибудь сгенерить. Лично я указал в промпте - Zombie Dog.</li>
9
+ <li>Когда получите удовлетворительный результат, разделите новую сетку на 4 изображения и вставьте каждое из них поверх исходных кадров. Для этого я использовал Photoshop. Обязательно сохраните имена исходных файлов без изменений.</li>
10
+ <li>Воспользуйтесь программой EBsynth, чтобы наложить ключевые кадры на всё видео. EBsynth можно скачать бесплатно. Мои параметры настроек можете глянуть на прикрепленных скриншотах.</li>
11
+ <li>Запустите процесс обработки. В результате будут созданы множество папок, содержащих много кадров. Вы можете объединить каждый набор кадров в отдельные клипы, но наиболее простым способом, является использование кнопки "Export to AE" в верхней части окна. Она выполнит все необходимые действия автоматически!</li>
12
+ <li>Теперь у вас есть странный видосик с собакенами</li>
13
+ </ol>
14
+ <ul>
15
+
16
+
17
+ <h1>How to do the same?</h1>
18
+ <ol>
19
+ <li>Take your video clip and export all the frames in a 512x512 square format. Here I chose my doggy and it is only 3 or 4 seconds.</li>
20
+ <li>Look at all the frames and pick the best 4 keyframes. Keyframes should be the first and last frames and a couple of frames where the action starts to change (head turn etc, , mouth open etc).</li>
21
+ <li>Copy those keyframes into another folder and put them into a grid. I use https://www.codeandweb.com/free-sprite-sheet-packer . Make sure there are no gaps.</li>
22
+ <li>Copy the grid photo into ControlNet (see screengrab) and ask Stable Diffusion to do whatever. I asked for a Zombie Dog.</li>
23
+ <li>When you get a good enough set made, cut up the new grid into 4 photos and paste each over the original frames. I use photoshop. Make sure the filenames of the originals stay the same.</li>
24
+ <li>Use EBsynth to take your keyframes and stretch them over the whole video. EBsynth is free. My settings are in a screengrab.</li>
25
+ <li>Run All. This pukes out a bunch of folders with lots of frames in it. You can take each set of frames and blend them back into clips but the easiest way, if you can, is to click the Export to AE button at the top. It does everything for you!</li>
26
+ <li>You now have a weird video.</li>
27
+ </ol>
28
+ </ul>
29
+
30
+ <video width="400" height="300" controls="controls">
31
+ <source src="https://s3.amazonaws.com/moonup/production/uploads/63b140a07804d5cadcda9c8b/0_uQrf_9w8e8eHPu4BbtE.mp4" type='video/mp4; codecs="avc1.42E01E, mp4a.40.2"'>
32
+ Тег video не поддерживается вашим браузером.
33
+ <a href="https://s3.amazonaws.com/moonup/production/uploads/63b140a07804d5cadcda9c8b/0_uQrf_9w8e8eHPu4BbtE.mp4">Скачайте видео</a>.
34
+ </video>