shirayu/sd-tohoku-v3b · Hugging Face

東北ずん子プロジェクトの公式キャラクターイラストを利用して作成したStable Diffusion 2.1系統のLoRAファイルです
Stable Diffusion 1.4系統のLoRAはsd-tohoku-v3aをご利用ください

キャラクター	種類	トリガーワード	推奨ファイル
東北イタコ	衣装指定なし	`Itako`	sd-tohoku-v3b.1.Itako.safetensors
	衣装単体	`Itoc`	sd-tohoku-v3b.1.Itoc.safetensors
東北ずん子	衣装指定なし	`Zunko`	sd-tohoku-v3b.1.Zunko.safetensors
	衣装単体	`Zuoc`	sd-tohoku-v3b.1.Zuoc.safetensors
東北きりたん	衣装指定なし	`Kiritan`	sd-tohoku-v3b.1.Kiritan.safetensors
	衣装単体	`Kioc`	sd-tohoku-v3b.1.Kioc.safetensors
ずんだもん	人間形態	`Zundamon`	sd-tohoku-v3b.1.Zundamon.safetensors
	妖精形態	`Zfr`	sd-tohoku-v3b.1.Zfr.safetensors
暗黒大将軍		`Anko`	sd-tohoku-v3b.1.Anko.safetensors
沖縄あわも		`Awamo`	sd-tohoku-v3b.1.Awamo.safetensors
大江戸ちゃんこ		`Chanko`	sd-tohoku-v3b.1.Chanko.safetensors
北海道めろん		`Hokamel`	sd-tohoku-v3b.1.Hokamel.safetensors
四国めたん		`Metan`	sd-tohoku-v3b.1.Metan.safetensors
関西しのび		`Shinobi`	sd-tohoku-v3b.1.Shinobi.safetensors
九州そら		`Sora`	sd-tohoku-v3b.1.Sora.safetensors
中国うさぎ		`Usagi`	sd-tohoku-v3b.1.Usagi.safetensors

学習データに公式キャラクターイラスト以外は用いておらず，正則化画像も用いていません．
「東北イタコ」には「青い霊」は含まれていません
「東北きりたん」には「きりたん砲」は含まれていません

ファイルリスト

Version 2: sd-tohoku-v3b.2
- dim=64, alpha=32
Version 1: sd-tohoku-v3b.1
- dim=32, alpha=16

利用例

AUTOMATIC1111/stable-diffusion-webuiをセットアップしてください
拡張機能kohya-ss/sd-webui-additional-networksをインストールしてください
- 2023.04.02現在公式でSD2.1系統のLoRAに対応していないため
お好みのSD2.1系のモデル・YAMLファイルをmodels/Stable-diffusionに，VAEをダウンロードmodels/VAEに置いてください
- Waifu Diffusion 1.5 Beta 2を利用する例
  1. wd-1-5-beta2-aesthetic-fp16.safetensorsをmodels/Stable-diffusionにダウンロードする
  2. wd-1-5-beta2-aesthetic-fp16.yamlをmodels/Stable-diffusionにダウンロードする
  3. kl-f8-anime2.ckptをmodels/VAEにダウンロードし，wd-1-5-beta2-aesthetic-fp16.vae.ckptにリネームする (ファイル名をそろえると自動的に読み込まれるようになります)
お好みのLoRAファイルをファイルリストからダウンロードしてmodels/LORAに置く
WebUIを起動し，Additional Networksの設定をする
- パネルを開きEnableをクリック
- 設置したLoRAファイルを指定する
トリガーワードを含んだプロンプトを入力して生成する

プロンプトの指定にはWD 1.5 Beta 2 - Release Notesも参考にしてください

生成例

Positive prompt: {CHARACTER}, 1girl, smile, sit on chair, garden, (looking at viewer:1.2),
(anime:1.3), (waifu, exceptional, best aesthetic, new, newest, masterpiece, best quality:1.2)
Negative prompt: worst quality, photorealistic, oldest, old, ((bad hands)), ((mutated hands and fingers)), watermark, text
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1487688172, Size: 768x1024, Model hash: 96fc8b5de4

ライセンス

WD 1.5 Beta 2と同様にFair AI Public License 1.0-SDです．

また，各種法令・各種ガイドラインにご留意ください．例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合，「東北ずん子プロジェクトキャラクター利用の手引き」に基づいて利用してください．

以前のバージョンとの違い

shirayu/sd-tohoku-v1や shirayu/sd-tohoku-v2では Stable Diffusionモデル自体を更新していました．そのため，ファイルサイズが巨大という課題がありました．その後，LoRA (Low-Rank Adaptation)という既存のモデルにくっつける「追加回路」を学習する技術が利用できるようになり，先程の問題は大幅に軽減されるようになりました．

この「追加回路」は学習時に使われるモデルだけでなく，「似ている」モデルにも適用可能です．この学習ではWaifu Diffusion 1.5 Beta 2を学習時に使用しています．そのため． Stable Diffusion 2.1系統のモデルで利用できます．ただし，大幅にチューニングされているモデルでは良い結果は得られない可能性が高くなります．