AnimeNSFW

AnimeNSFW lora

二次元キャラ画像を元にNSFW画像を作成するQwen Image Edit 2509 用Loraです。

使い方

Qwen Image Edit 2509のワークフローにAnimeNSFW.safetensorsを組み入れてください。 GGUF版のワークフローQwen2509AnimeNSFW.jsonを同梱しています。

ワークフローのプロンプト例と下の実行例を参考にプロンプトは日本語で書いてください。

ガチャ要素強めなので、おかしいときは何度も生成してみてください。

実行例

• https://files.catbox.moe/9sccbx.png
• https://files.catbox.moe/fhjlyy.png
• https://files.catbox.moe/r6p4kt.png
• https://files.catbox.moe/ffe569.png
• https://files.catbox.moe/t6tpje.png

学習方法

Vast.aiのPytorchテンプレートでAMD EPYC 9554 64 CPU メモリ64.3GB + GeForce RTX 5090 + SSD確保量 72GB のマシン(0.312 $/h)を使ってmusubi-tunerで学習しました。学習用画像814枚80エポック65120ステップで1エポック約30分合計42時間かかりました(費用は13ドル=2000円ぐらい)。

musubi-tunerのインストール

https://github.com/kohya-ss/musubi-tuner/blob/main/README.ja.md

git clone https://github.com/kohya-ss/musubi-tuner/
cd musubi-tuner
pip install -e .
pip install schedulefree
mkdir models outputs
accelerate config

データセット

dataset-utilities以下にあるComfyUI API + pythonスクリプトを使って、wai-Illustrious-v150 + DMD2 LoRAで画像を生成し、対応する日本語キャプションを自動生成したものを選別してデータセットとしました。

データセット

1024x1024を768x768、1152x896を864x672、896x1152を672x864の解像度にして学習します。network dim 48だと解像度を落とさないと5090ではVRAMが足らなくなります。

設定はdataset.tomlに書きます。

[general]
resolution = [768, 768]
caption_extension = ".txt"
enable_bucket = true

[[datasets]]
image_directory = "dataset1"
control_directory = "dataset1-control"

[[datasets]]
image_directory = "dataset2"
control_directory = "dataset2-control"

[[datasets]]
image_directory = "dataset3"
control_directory = "dataset3-control"

[[datasets]]
image_directory = "dataset4"

モデル

musubi-tunerの文書に従い、次のモデルをmusubi-tunerフォルダのmodelsフォルダ以下に置きます。

• 拡散モデル https://huggingface.co/Comfy-Org/Qwen-Image-Edit_ComfyUI/blob/main/split_files/diffusion_models/qwen_image_edit_2509_bf16.safetensors
• テキストエンコーダー https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/blob/main/split_files/text_encoders/qwen_2.5_vl_7b.safetensors
• VAE https://huggingface.co/Qwen/Qwen-Image/blob/main/vae/diffusion_pytorch_model.safetensors

wget -O models/qwen_image_edit_2509_bf16.safetensors https://huggingface.co/Comfy-Org/Qwen-Image-Edit_ComfyUI/resolve/main/split_files/diffusion_models/qwen_image_edit_2509_bf16.safetensors
wget -O models/qwen_2.5_vl_7b.safetensors https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/resolve/main/split_files/text_encoders/qwen_2.5_vl_7b.safetensors
wget -O models/diffusion_pytorch_model.safetensors https://huggingface.co/Qwen/Qwen-Image/resolve/main/vae/diffusion_pytorch_model.safetensors

画像キャッシュ作成

python src/musubi_tuner/qwen_image_cache_latents.py --dataset_config dataset.toml --vae  models/diffusion_pytorch_model.safetensors --edit_plus

テキストエンコーダーキャッシュ作成

python src/musubi_tuner/qwen_image_cache_text_encoder_outputs.py --dataset_config dataset.toml  --text_encoder models/qwen_2.5_vl_7b.safetensors --batch_size 1 --edit_plus --fp8_vl

lora学習

• オプティマイザ―
  • RAdamScheduleFree
  • 学習率 1e-3
  • network_args ""weight_decay=5e-2", "betas=(0.9, 0.999)"
• network_dim 48
• エポック数 200 この設定で学習しました。

次のconfig.tomlに設定を書いています。

dit = "models/qwen_image_edit_2509_bf16.safetensors"
vae = "models/diffusion_pytorch_model.safetensors"
text_encoder = "models/qwen_2.5_vl_7b.safetensors"
dataset_config = "dataset.toml"
output_dir = "outputs"
output_name = "AnimeNSFW"
sdpa = true 
mixed_precision = "bf16" 
timestep_sampling = "shift" 
weighting_scheme = "none"
discrete_flow_shift = 2.2 
optimizer_type = "schedulefree.RAdamScheduleFree"
optimizer_args = ["weight_decay=5e-2", "betas=(0.9, 0.999)"]
learning_rate = 1e-3
gradient_checkpointing = true
max_data_loader_n_workers = 2
persistent_data_loader_workers = true 
network_module = "networks.lora_qwen_image"
network_dim = 48
max_train_epochs = 200
save_every_n_epochs = 20
seed = 42 
edit_plus = true
fp8_base = true
fp8_scaled = true
compile = true

次のコマンドでlora学習を行います。

accelerate launch --num_cpu_threads_per_process 1 src/musubi_tuner/qwen_image_train_network.py --config_file config.toml 

lora変換

最後にComfyUIで使える形式に変換します。

python src/musubi_tuner/convert_lora.py --input outputs/AnimeNSFW.safetensors --output outputs/AnimeNSFW-conv.safetensors --target other