| # Author -Altair123 | |
| # Tools | |
| - A1111 | |
| - Img2Img | |
| - ControlNet | |
| - Davinci Resolve | |
| - Topaz Video Ai | |
| # Model | |
| - Realisian | |
| ## Positive Prompt | |
| - masterpiece | |
| - best quality:1.3 | |
| - 8k wallpaper | |
| - smooth gradients | |
| - soft shadows | |
| - 1girl | |
| - clean background | |
| - detailed face | |
| - beautiful brown eyes | |
| - smile | |
| - red boots | |
| - realistic:1.5 | |
| ## Negative Prompt | |
| - worst quality | |
| - low quality | |
| - normal quality:1.8 | |
| - nude | |
| - nsfw | |
| - add your favourite negative prompts | |
| # Settings | |
| - Steps: 20 | |
| - Sampler: Euler a | |
| - CFG scale: 7 | |
| - Denoising strength: 0.4 | |
| - Clip skip: 2 | |
| - ControlNet: softedge_hed weight: 1.5 | |
| - My prompt is more important | |
| - [Loopback] | |
| - Temporalnet | |
| - Preprocesor: none | |
| - Weight: 0.7 | |
| - My prompt is more important | |
| - [Loopback] | |
| # Workflow [RU] | |
| Сначала измените размер и обрежьте видео до желаемого размера, учитывая, что SD лучше всего работает с квадратными изображениями. Затем извлеките из видео отдельные кадры, для медленно движущихся видео достаточно 18 кадров в секунду, а для динамичных - 30 кадров в секунду. | |
| Затем я взял один кадр и начал создавать прототипы промптов и настроек в Img2Img, вот несколько полезных наблюдений: как правило, при работе с Img2Img большая степень устранения шумов означает больше изменений и больше мерцания. Чтобы уменьшить это, нужно балансировать denoising и CFG-scale. От выбора Sampler и ControlNet тоже многое зависит, лучшие результаты я получил с Euler a и Softedge_head. | |
| Когда я достигаю нужного стиля, наступает время для пакетного создания изображений. Это долгий процесс, который займет несколько часов. Вы можете подглядывать, идет ли процесс успешно, и в случае каких-либо проблем прервать создание изображений. | |
| После завершения создания изображений приходит время для рендеринга видео. Я не буду вдаваться в подробности использования программы для редактирования видео, но могу дать несколько важных заметок: используйте устранение мерцания (De-flicker), даже несколько раз, если это необходимо. Для последовательностей изображений с низким количеством кадров в секунду (менее 30 кадров в секунду) используйте методы интерполяции кадров, такие как optical flow. | |
| Последний этап - улучшение видео в Topaz Video Ai. Это очень прстаоя в использовании программа, просто измените частоту кадров на 60 и увеличьте разрешение до желаемого. Поздравляю, теперь у вас есть замечательное видео с танцующей аниме-вайфу! | |
| # Workflow [ENG] | |
| 1. First resize and crop the video to desired size, keep in mind the SD works better with square images. | |
| 2. Next extract video to images, 30fps is good for dynamic videos. | |
| 3. After that I took one frame and began prototyping prompts and settings in Img2Img, here are some useful observations: Generally, with Img2Img, higher denoising means more changes and more flickering. To reduce it, balance denoising and CFG scale. Sampler and ControlNet also matters, I got best results with Euler a and Softedge_head. | |
| 4. When I achieve style I'm looking for, it's time for batch generation. This is a long process and will take a few hours. You can sneak peak if generation is going well and if something went wrong interrupt generation. | |
| 5. After generation complete, it's time to render the video. I won't go into the details of how to use video editing software, but I can give some important notes: Use deflickering, even a few times if needed. For low fps image sequences (under 30fps) use frame interpolation methods like optical flow. | |
| 6. The last step is enhancing video in Topaz Video Ai. This is a very simple program to use, just change the framerate to 60 and upscale to the desired resolution. | |
| # Source Video | |
| [Original Video](https://www.youtube.com/shorts/LT3nauFn1NY) - The original video seems to be an animation (3D?) transformed into anime style using AI, but I don't know how it was made. | |