Author -Altair123

Tools

A1111
Img2Img
ControlNet
Davinci Resolve
Topaz Video Ai

Model

Realisian

Positive Prompt

masterpiece
best quality:1.3
8k wallpaper
smooth gradients
soft shadows
1girl
clean background
detailed face
beautiful brown eyes
smile
red boots
realistic:1.5

Negative Prompt

worst quality
low quality
normal quality:1.8
nude
nsfw
add your favourite negative prompts

Settings

Steps: 20
Sampler: Euler a
CFG scale: 7
Denoising strength: 0.4
Clip skip: 2
ControlNet: softedge_hed weight: 1.5
My prompt is more important
[Loopback]
Temporalnet
Preprocesor: none
Weight: 0.7
My prompt is more important
[Loopback]

Workflow [RU]

Сначала измените размер и обрежьте видео до желаемого размера, учитывая, что SD лучше всего работает с квадратными изображениями. Затем извлеките из видео отдельные кадры, для медленно движущихся видео достаточно 18 кадров в секунду, а для динамичных - 30 кадров в секунду.

Затем я взял один кадр и начал создавать прототипы промптов и настроек в Img2Img, вот несколько полезных наблюдений: как правило, при работе с Img2Img большая степень устранения шумов означает больше изменений и больше мерцания. Чтобы уменьшить это, нужно балансировать denoising и CFG-scale. От выбора Sampler и ControlNet тоже многое зависит, лучшие результаты я получил с Euler a и Softedge_head.

Когда я достигаю нужного стиля, наступает время для пакетного создания изображений. Это долгий процесс, который займет несколько часов. Вы можете подглядывать, идет ли процесс успешно, и в случае каких-либо проблем прервать создание изображений.

После завершения создания изображений приходит время для рендеринга видео. Я не буду вдаваться в подробности использования программы для редактирования видео, но могу дать несколько важных заметок: используйте устранение мерцания (De-flicker), даже несколько раз, если это необходимо. Для последовательностей изображений с низким количеством кадров в секунду (менее 30 кадров в секунду) используйте методы интерполяции кадров, такие как optical flow.

Последний этап - улучшение видео в Topaz Video Ai. Это очень прстаоя в использовании программа, просто измените частоту кадров на 60 и увеличьте разрешение до желаемого. Поздравляю, теперь у вас есть замечательное видео с танцующей аниме-вайфу!

Workflow [ENG]

First resize and crop the video to desired size, keep in mind the SD works better with square images.
Next extract video to images, 30fps is good for dynamic videos.
After that I took one frame and began prototyping prompts and settings in Img2Img, here are some useful observations: Generally, with Img2Img, higher denoising means more changes and more flickering. To reduce it, balance denoising and CFG scale. Sampler and ControlNet also matters, I got best results with Euler a and Softedge_head.
When I achieve style I'm looking for, it's time for batch generation. This is a long process and will take a few hours. You can sneak peak if generation is going well and if something went wrong interrupt generation.
After generation complete, it's time to render the video. I won't go into the details of how to use video editing software, but I can give some important notes: Use deflickering, even a few times if needed. For low fps image sequences (under 30fps) use frame interpolation methods like optical flow.
The last step is enhancing video in Topaz Video Ai. This is a very simple program to use, just change the framerate to 60 and upscale to the desired resolution.

Source Video

Original Video - The original video seems to be an animation (3D?) transformed into anime style using AI, but I don't know how it was made.