sd-tohoku-v3b

• 東北ずん子プロジェクトの公式キャラクターイラストを利用して作成したStable Diffusion 2.1系統のLoRAファイルです
• Stable Diffusion 1.4系統のLoRAはsd-tohoku-v3aをご利用ください

<img src="https://pbs.twimg.com/media/Fs8KM1pakFwR9PY?format=jpg&name=900x900" alt="Samples" width="800">

• 学習データに公式キャラクターイラスト以外は用いておらず，正則化画像も用いていません．
• 「東北イタコ」には「青い霊」は含まれていません
• 「東北きりたん」には「きりたん砲」は含まれていません

ファイルリスト

• Version 2: sd-tohoku-v3b.2
  • dim=64, alpha=32
• Version 1: sd-tohoku-v3b.1
  • dim=32, alpha=16

利用例

1. AUTOMATIC1111/stable-diffusion-webuiをセットアップしてください
2. 拡張機能kohya-ss/sd-webui-additional-networksをインストールしてください
   • 2023.04.02現在公式でSD2.1系統のLoRAに対応していないため
3. お好みのSD2.1系のモデル・YAMLファイルをmodels/Stable-diffusionに，VAEをダウンロードmodels/VAEに置いてください
   • Waifu Diffusion 1.5 Beta 2を利用する例
     1. wd-1-5-beta2-aesthetic-fp16.safetensorsをmodels/Stable-diffusionにダウンロードする
     2. wd-1-5-beta2-aesthetic-fp16.yamlをmodels/Stable-diffusionにダウンロードする
     3. kl-f8-anime2.ckptをmodels/VAEにダウンロードし，wd-1-5-beta2-aesthetic-fp16.vae.ckptにリネームする (ファイル名をそろえると自動的に読み込まれるようになります)
4. お好みのLoRAファイルをファイルリストからダウンロードしてmodels/LORAに置く
5. WebUIを起動し，Additional Networksの設定をする
   • パネルを開きEnableをクリック
   • 設置したLoRAファイルを指定する
6. トリガーワードを含んだプロンプトを入力して生成する

プロンプトの指定にはWD 1.5 Beta 2 - Release Notesも参考にしてください

生成例

Positive prompt: {CHARACTER}, 1girl, smile, sit on chair, garden, (looking at viewer:1.2),
(anime:1.3), (waifu, exceptional, best aesthetic, new, newest, masterpiece, best quality:1.2)
Negative prompt: worst quality, photorealistic, oldest, old, ((bad hands)), ((mutated hands and fingers)), watermark, text
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1487688172, Size: 768x1024, Model hash: 96fc8b5de4

ライセンス

WD 1.5 Beta 2と同様にFair AI Public License 1.0-SDです．

また，各種法令・各種ガイドラインにご留意ください． 例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください．

以前のバージョンとの違い

shirayu/sd-tohoku-v1や shirayu/sd-tohoku-v2では Stable Diffusionモデル自体を更新していました． そのため，ファイルサイズが巨大という課題がありました． その後，LoRA (Low-Rank Adaptation)という既存のモデルにくっつける「追加回路」を学習する技術が利用できるようになり， 先程の問題は大幅に軽減されるようになりました．

この「追加回路」は学習時に使われるモデルだけでなく，「似ている」モデルにも適用可能です． この学習ではWaifu Diffusion 1.5 Beta 2を学習時に使用しています． そのため． Stable Diffusion 2.1系統のモデルで利用できます． ただし，大幅にチューニングされているモデルでは良い結果は得られない可能性が高くなります．