Update README.md
Browse files
README.md
CHANGED
|
@@ -42,7 +42,7 @@ LoRAでうまく場所の概念を学習できる方法が確立できれば日
|
|
| 42 |
実は僕も全然よく分かってないのですが（！）階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-netの各レイヤー層を調節することで描画に様々な調整ができる（？）ことがわかってきました。
|
| 43 |
例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか？」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
|
| 44 |
|
| 45 |
-
上の方で書いたkaraokeroom:0.6といった指定はU-net
|
| 46 |
実際にU-net層別にWeightを調節できるScripts（sd-webui-lora-block-weight：https://github.com/hako-mikan/sd-webui-lora-block-weight ）を使って色々な数値を調整したXY Plot画像等を作成してみたりして調べていますが、現状では「何もわからないことがわかった」という感じではっきりしたことは分かっていません。
|
| 47 |
|
| 48 |
・学習用素材の写真をうまく調整する
|
|
|
|
| 42 |
実は僕も全然よく分かってないのですが（！）階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-netの各レイヤー層を調節することで描画に様々な調整ができる（？）ことがわかってきました。
|
| 43 |
例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか？」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
|
| 44 |
|
| 45 |
+
上の方で書いたkaraokeroom:0.6といった指定はU-net全体まるごとで影響を下げる設定になると思うのですが(多分）もし背景に大きく関与しているU-net層が分かればそれ以外のU-net層への関与を抑えることで既存モデルの人物描写と追加学習背景LoRAがうまく共存できるのでは？と考えられます。
|
| 46 |
実際にU-net層別にWeightを調節できるScripts（sd-webui-lora-block-weight：https://github.com/hako-mikan/sd-webui-lora-block-weight ）を使って色々な数値を調整したXY Plot画像等を作成してみたりして調べていますが、現状では「何もわからないことがわかった」という感じではっきりしたことは分かっていません。
|
| 47 |
|
| 48 |
・学習用素材の写真をうまく調整する
|