sd-tohoku-v1

以下の5人の東北ずん子プロジェクトのキャラクターイラストを用いてDreamBoothで学習したモデルです．

• itako: 東北イタコ
• zunko: 東北ずん子
• kiritan: 東北きりたん
• zundamon: ずんだもん (人間形態)
• metan: 四国めたん

学習画像はなるべく衣装にバリエーションをもたせているので，「公式衣装」は出にくいです．

🌐オンラインですぐに試せるGoogle Colab Notebookでも利用できます

🔈 キャラクターを増やして学習したモデルshirayu/sd-tohoku-v2を公開しました (2023-01-04)

ファイル形式

1. AUTOMATIC1111/stable-diffusion-webuiなどckptファイルを読み込むツールの場合

   sd-tohoku-v1.model.ckpt(約2GB)をダウンロードして読み込んでください

2. diffusersから利用する場合

   from diffusers import DiffusionPipeline
   pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")
   

紹介動画

<a href="https://www.nicovideo.jp/watch/sm41313614"> <img src="https://img.cdn.nimg.jp/s/nicovideo/thumbnails/41313614/41313614.80180214.original/r1280x720l?key=23adae7a647d3afa1049dc9c39204802d20870ca260b75939dd016ba127cebd8" width="500" alt="東北ずん子プロジェクトのキャラをAIお絵描き！">東北ずん子プロジェクトのキャラをAIお絵描き！　(ニコニコ動画) </a>

ライセンス

CreativeML Open RAIL-M license 1.0

また，各種法令・各種ガイドラインにご留意ください． 例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください．

学習設定

• 元モデル: Nilaier/Waifu-Diffusers (fbd1958)

  • Base model: hakurei/waifu-diffusion-v1-3
  • VAE: hakurei/waifu-diffusion-v1-4

• 学習画像

  • 5キャラクター計69枚
    • itako: 東北イタコ 18枚
    • zunko: 東北ずん子 13枚
    • kiritan: 東北きりたん 13枚
    • zundamon: ずんだもん (人間形態) 9枚
    • metan: 四国めたん 16枚
  • アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ

• 学習元コード: ShivamShrirao/diffusers (7232c2a)

  • examples/dreambooth/train_dreambooth.py

• 学習設定

  • Instance ID: itako, kiritan, zunko, metan, zundamon (5種)
  • Instance prompt: <ID> 1girl
  • Tesla T4で約110分
  • その他設定:

  --prior_loss_weight=0.5 \
  --seed=3434554 \
  --resolution=512 \
  --center_crop \
  --train_batch_size=1 \
  --train_text_encoder \
  --mixed_precision="fp16" \
  --use_8bit_adam \
  --gradient_checkpointing \
  --gradient_accumulation_steps=2 \
  --learning_rate=1e-6 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --num_class_images=50 \
  --sample_batch_size=3 \
  --max_train_steps=8000
  

学習に使った画像

<img src="https://pbs.twimg.com/media/Ff6FF1NaMAAL8N5?format=jpg&name=small" width="500" alt="学習に使った画像">

生成例

<img src="https://pbs.twimg.com/media/Ff6AgzyaMAExeb3?format=png&name=900x900" width="500" alt="東北きりたんの生成例">

kiritan, 1girl, volleyball, kawaii, in gymnasium, head
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512

<img src="https://pbs.twimg.com/media/Ff6Ank1aYAY7bxk?format=png&name=900x900" width="500" alt="ずんだもんの生成例">

zundamon , maid dress, in cafe, Kyoto Animation
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704

<img src="https://pbs.twimg.com/media/Ff6AuXoakAAPtYa?format=png&name=900x900" width="500" alt="東北イタコの生成例">

itako, dating in park, cute winter fashion
Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512

<img src="https://pbs.twimg.com/media/Ff6A2lQakAAj1Bb?format=png&name=small" width="500" alt="東北ずん子と四国めたんの生成例">

zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512