sd-tohoku-v3a

• 東北ずん子プロジェクトの公式キャラクターイラストをもとに作成したStable Diffusion 1.4系統のLoRAファイルです
• Stable Diffusion 2.1系統のLoRAはsd-tohoku-v3bをご利用ください

<img src="https://pbs.twimg.com/media/Fs8KMtGaIAETSJc?format=jpg&name=medium" alt="Samples" width="800">

• 学習データに公式キャラクターイラスト以外は用いておらず，正則化画像も用いていません．
• 「東北イタコ」には「青い霊」は含まれていません
• 「東北きりたん」には「きりたん砲」は含まれていません

利用例

1. AUTOMATIC1111/stable-diffusion-webuiをセットアップしてください

2. お好みのSD1.4系のモデルファイルをmodels/Stable-diffusionにダウンロードしてください

   • ACertaintyを利用する例
     1. ACertainty.ckptをダウンロードする

3. 本レポジトリのLoRAファイルをmodels/Loraディレクトリに置いてください

4. WebUIを起動し，以下のように，トリガーワードとLoRAファイル指定を含んだプロンプトを入力して生成してみてください

   sd-tohoku-v3a.2.Zunko.safetensorsを利用する例:
   
   Positiveプロンプト: <lora:sd-tohoku-v3a.2.Zunko:1>Zunko, 1girl, smile, sit on chair, garden, (looking at viewer:1.2)
   Negativeプロンプト: worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
   

   • <lora:NAME:value>のような形式で用いるLoRAを指定できます．
   • NAMEにファイル名(拡張子を除く)，valueにLoRA強度を指定してください．
   • 強度を0.5など低くすることでLoRA適用の影響力を下げられます

5. (さらなる設定) 以下のような設定を行うと，より良い出力を得られるかもしれません

   • VAEの変更: kl-f8-anime2.ckptをmodels/VAEにダウンロードし，ACertainty.vae.ckptにリネームすると自動的に読み込まれるようになります
   • Clip skipを2にする
   • hako-mikan/sd-webui-lora-block-weightを利用しLoRAの強さを細かく制御する

ファイルリスト

• Version. 4: sd-tohoku-v3a.4
  • dim=64, alpha=32
  • dim=1, alpha=1で画風をLoRA学習させ，ACertaintyにマージしたものをベースモデルとしました
  • <img src="https://pbs.twimg.com/media/FtG3nzFaIAAzI7v?format=jpg&name=medium" alt="Samples of sd-tohoku-v3a.4" width="400">
• Version. 3: sd-tohoku-v3a.3
  • dim=128, alpha=64
• Version. 2: sd-tohoku-v3a.2
  • dim=64, alpha=32
  • <img src="https://pbs.twimg.com/media/Fs8KMtGaIAETSJc?format=jpg&name=medium" alt="Samples of sd-tohoku-v3a.2" width="400">
• Version. 1: sd-tohoku-v3a.1
  • dim=32, alpha=16

生成例

冒頭の例

Positive prompt:
<lora:sd-tohoku-v3a.VERSION.CHARACTER:1>CHARACTER, 1girl, smile, sit on chair, garden, (looking at viewer:1.2)

Negative prompt:
worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

• Steps: 20
• Sampler: DPM++ 2M Karras
• CFG scale: 7
• Seed: 1487688172
• Size: 768x1024
• Model hash: a64573359a (ACertainty)
• Clip skip: 2

ライセンス

CreativeML Open RAIL-M license 1.0

また，各種法令・各種ガイドラインにご留意ください． 例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください．

以前のバージョンとの違い

shirayu/sd-tohoku-v1や shirayu/sd-tohoku-v2では Stable Diffusionモデル自体を更新していました． そのため，ファイルサイズが巨大という課題がありました． その後，LoRA (Low-Rank Adaptation)という既存のモデルにくっつける「追加回路」を学習する技術が利用できるようになり， 先程の問題は大幅に軽減されるようになりました．

この「追加回路」は学習時に使われるモデルだけでなく，「似ている」モデルにも適用可能です． この学習ではACertaintyをベースにしています． そのため． Stable Diffusion 1.4, 1.5系統のモデルで利用できます． ただし，大幅にチューニングされているモデルでは良い結果は得られない可能性が高くなります．