morisato commited on
Commit
2965ff2
1 Parent(s): 08163b5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -43,7 +43,7 @@ LoRAでうまく場所の概念を学習できる方法が確立できれば日
43
  例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか?」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
44
 
45
  上の方で書いたkaraokeroom:0.6といった指定はU-net全体まるごとで影響を下げる設定になると思うのですが(多分)もし背景に大きく関与しているU-net層が分かればそれ以外のU-net層への関与を抑えることで既存モデルの人物描写と追加学習背景LoRAがうまく共存できるのでは?と考えられます。
46
- 実際にU-net層別にWeightを調節できるScripts(sd-webui-lora-block-weight:https://github.com/hako-mikan/sd-webui-lora-block-weight )を使って色々な数値を調整したXY Plot画像等を作成してみたりして調べていますが、現状では「何もわからないことがわかった」という感じではっきりしたことは分かっていません。
47
 
48
  ・学習用素材の写真をうまく調整する
49
  ・学習時のキャプション(タグ)の付け方などで、画風を学ばないようにできないか?
 
43
  例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか?」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
44
 
45
  上の方で書いたkaraokeroom:0.6といった指定はU-net全体まるごとで影響を下げる設定になると思うのですが(多分)もし背景に大きく関与しているU-net層が分かればそれ以外のU-net層への関与を抑えることで既存モデルの人物描写と追加学習背景LoRAがうまく共存できるのでは?と考えられます。
46
+ 実際にU-net層別にWeightを調節できるScripts(sd-webui-lora-block-weight:https://github.com/hako-mikan/sd-webui-lora-block-weight )を使って色々な数値を調整したXY Plot画像等を作成してみたりして調べていますが、現状では「ワイには何もわからないことがわかった」という感じではっきりしたことは分かっていません。
47
 
48
  ・学習用素材の写真をうまく調整する
49
  ・学習時のキャプション(タグ)の付け方などで、画風を学ばないようにできないか?