Update README.md
Browse files
README.md
CHANGED
|
@@ -1,7 +1,3 @@
|
|
| 1 |
-
license: unknown
|
| 2 |
-
language:
|
| 3 |
-
- ja
|
| 4 |
-
---
|
| 5 |
|
| 6 |
# 背景LoRA
|
| 7 |
|
|
@@ -17,7 +13,7 @@ Loraを読み込ませて、プロンプトに **karaokeroom** と記述し
|
|
| 17 |
プロンプトに、1girl, karaoke, microphone, 等とあわせて記述していただくとカラオケを歌ってる感じの絵ができます。
|
| 18 |
|
| 19 |
※当LoRAを適用すると人物の描画や画風に影響が生じるようです。LoRAを適用するWeightを調整することで画風への影響を抑えられます。
|
| 20 |
-
影響が気になった場合は
|
| 21 |
|
| 22 |
※karaokeroom, 1girl, karaoke, 等のプロンプトを書いても、部屋の風景のみで人物がうまく描画されないことがあります。
|
| 23 |
ガチャ要素があるのと、モデルによってはうまく働かない場合があるようです。その場合は根気よく何枚か生成してみるか、違うモデルを使ってみてください。
|
|
@@ -34,7 +30,10 @@ Loraを読み込ませて、プロンプトに **karaokeroom** と記述し
|
|
| 34 |
|
| 35 |
実際に学習を実行して出来上がった当LoRAを読み込ませると上記の karaokeroom というプロンプトでカラオケ店の部屋っぽい絵が生成できます。
|
| 36 |
場所の概念を学習させる実験は成功ではないでしょうか？
|
| 37 |
-
|
|
|
|
|
|
|
|
|
|
| 38 |
## 問題点、今後の課題
|
| 39 |
カラオケ店の風景は再現できるようになりました。が、当LoRAを適用してカラオケを歌う女の子の絵を生成すると、人物の描画や画風に影響が生じる場合があります。
|
| 40 |
これはおそらく場所の概念だけではなく、素材写真の画風等も学習してしまったものだと思います。
|
|
@@ -42,17 +41,18 @@ Loraを読み込ませて、プロンプトに **karaokeroom** と記述し
|
|
| 42 |
|
| 43 |
・U-net層でWeight調整することで影響を押さえられる？
|
| 44 |
実は僕も全然よく分かってないのですが（！）
|
| 45 |
-
階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-net
|
| 46 |
-
例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか？」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06
|
| 47 |
|
| 48 |
もし、背景に大きく関与しているU-net層が分かれば、それ以外のU-net層への関与を抑えることで、既存モデルの人物描写と追加学習背景LoRAでうまく共存できないだろうか？
|
| 49 |
-
…と考えて、U-net層別にWeightを調節できるScripts（sd-webui-lora-block-weight：https://github.com/hako-mikan/sd-webui-lora-block-weight）を使って色々な数値を調整したXY Plot
|
| 50 |
|
|
|
|
| 51 |
・学習時のキャプション（タグ）の付け方などで、画風は学ばないようにできないか？
|
| 52 |
・正則化画像を用意することで何かうまく学習の調整ができるのでは？
|
| 53 |
|
| 54 |
-
|
| 55 |
-
|
| 56 |
|
| 57 |
|
| 58 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
|
| 2 |
# 背景LoRA
|
| 3 |
|
|
|
|
| 13 |
プロンプトに、1girl, karaoke, microphone, 等とあわせて記述していただくとカラオケを歌ってる感じの絵ができます。
|
| 14 |
|
| 15 |
※当LoRAを適用すると人物の描画や画風に影響が生じるようです。LoRAを適用するWeightを調整することで画風への影響を抑えられます。
|
| 16 |
+
影響が気になった場合は \<lora:karaokeroom:1\>ではなく\<lora:karaokeroom:0.6\>といった感じで調整して使ってみてください。
|
| 17 |
|
| 18 |
※karaokeroom, 1girl, karaoke, 等のプロンプトを書いても、部屋の風景のみで人物がうまく描画されないことがあります。
|
| 19 |
ガチャ要素があるのと、モデルによってはうまく働かない場合があるようです。その場合は根気よく何枚か生成してみるか、違うモデルを使ってみてください。
|
|
|
|
| 30 |
|
| 31 |
実際に学習を実行して出来上がった当LoRAを読み込ませると上記の karaokeroom というプロンプトでカラオケ店の部屋っぽい絵が生成できます。
|
| 32 |
場所の概念を学習させる実験は成功ではないでしょうか？
|
| 33 |
+
|
| 34 |
+
LoRAでうまく場所の概念を学習できる方法が確立できれば日本の様々な風景を学習させることで身近な場所のイラストが生成できるようになると思います。これはその第一歩です。
|
| 35 |
+
|
| 36 |
+
|
| 37 |
## 問題点、今後の課題
|
| 38 |
カラオケ店の風景は再現できるようになりました。が、当LoRAを適用してカラオケを歌う女の子の絵を生成すると、人物の描画や画風に影響が生じる場合があります。
|
| 39 |
これはおそらく場所の概念だけではなく、素材写真の画風等も学習してしまったものだと思います。
|
|
|
|
| 41 |
|
| 42 |
・U-net層でWeight調整することで影響を押さえられる？
|
| 43 |
実は僕も全然よく分かってないのですが（！）
|
| 44 |
+
階層マージ(Marge Block Weighted)で多くの方が様々なモデルマージに挑戦した結果、絵を生成するU-netの各レイヤー層を調節することで描画に様々な調整ができる（？）ことがわかってきました。
|
| 45 |
+
例えば「INの上層はリアル調、INの下層がanime調を担当しているのではないか？」、「M_00は全体にキャラクターや服装・背景等に大きな影響が出る」、「OUT上層は、主題以外の表現 (例えば背景)に影響を及ぼしている」、「OUT04,OUT05,OUT06あたりはめっちゃ顔に影響ある」等色々な説があります。
|
| 46 |
|
| 47 |
もし、背景に大きく関与しているU-net層が分かれば、それ以外のU-net層への関与を抑えることで、既存モデルの人物描写と追加学習背景LoRAでうまく共存できないだろうか？
|
| 48 |
+
…と考えて、U-net層別にWeightを調節できるScripts（sd-webui-lora-block-weight：https://github.com/hako-mikan/sd-webui-lora-block-weight ）を使って色々な数値を調整したXY Plot画像等を作成してみましたが…、現状では「何もわからないことがわかった」という感じです。
|
| 49 |
|
| 50 |
+
・学習用素材の写真をうまく調整する
|
| 51 |
・学習時のキャプション（タグ）の付け方などで、画風は学ばないようにできないか？
|
| 52 |
・正則化画像を用意することで何かうまく学習の調整ができるのでは？
|
| 53 |
|
| 54 |
+
等、いろいろな案が考えられると思いますが…まだまだ試行錯誤の段階で情報が足りず良い解決方法は得られていません。
|
| 55 |
+
なかなか難しそうですが、うまく場所の概念だけ覚えさせる方法が出来たらいいですよね。
|
| 56 |
|
| 57 |
|
| 58 |
|