anima-prompt-expander-qwen3.5-4b-lora

Anima Prompt Expander · Qwen3.5-4B LoRA

作者：kitt3n

将中文视觉描述转换为适合 Anima-Aesthetic 的简洁英文 prompt，输出为英文标签与短关系短语。

这是训练在 Qwen3.5-4B 语言模型上的 LoRA，需要搭配基座运行。它生成文本提示词，不是加载到 Anima 图像生成模型上的 LoRA。

模型与 checkpoint

• 基座：Qwen/Qwen3.5-4B，官方后训练（post-trained）版本；该 revision 的官方说明明确标注了这一点。
• 训练时基座 revision：851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a。
• 训练 run：20260910T133158Z-af64f6。
• 本次发布：checkpoint-114，按最低 validation loss 选择。
• 最佳 validation loss：0.11505283415317535。
• 完整训练到 step 171 / 3 epochs，结束后恢复 checkpoint-114 并导出 adapter。
• 权重 SHA-256：a9390fd615cde298601d223b4ebfa325ed85d118410b0006f19b3b8b3f850acb。

发布的是可用于推理的 adapter 权重与训练说明。完整训练的优化器、调度器和 RNG 状态未包含在发布包内。

输出约定

保留主体、动作、空间关系、构图和用户指定风格；扩写保持克制，只补充有视觉用途的细节。短输入不应被扩成无关场景，也不应自动添加艺术家名字或 masterpiece、best quality 等质量标签。

固定 system prompt：

Convert the user's visual description into a concise English prompt for Anima-Aesthetic. Preserve the intended content and add only visually useful details.

使用原生 chat template，并设置 enable_thinking=False。推荐贪心解码。训练上下文长度为 512 tokens，项目推理入口要求输入和输出预算合计不超过 512 tokens。

Tokenizer 来源

Tokenizer 使用 Qwen/Qwen3.5-4B，revision：851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a，与基座版本一致。Tokenizer 未重新训练，也未添加自定义 token。本仓库不分发 tokenizer 文件；请从上述基座加载 tokenizer 及原生 chat template，并设置 enable_thinking=False。

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(
    "Qwen/Qwen3.5-4B",
    revision="851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a",
)

使用方法

配套训练与推理项目：anima-prompt-expander-sft。以下命令在项目根目录执行，需要 Linux / WSL2、Python 3.11 和支持 BF16 的 NVIDIA GPU。

python3.11 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt

# MODEL_REPO 替换为本页面顶部显示的 owner/repository。
MODEL_REPO=kitt3n/anima-prompt-expander-qwen3.5-4b-lora
hf download "$MODEL_REPO" --local-dir adapters/anima-prompt-expander
hf download Qwen/Qwen3.5-4B \
  --revision 851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a \
  --local-dir models/Qwen3.5-4B

# 当前项目 infer.py 从 adapter 目录读取 tokenizer；仅在本地复制基座文件供脚本使用。
cp models/Qwen3.5-4B/tokenizer.json adapters/anima-prompt-expander/
cp models/Qwen3.5-4B/tokenizer_config.json adapters/anima-prompt-expander/
cp models/Qwen3.5-4B/chat_template.jinja adapters/anima-prompt-expander/

python infer.py \
  --adapter adapters/anima-prompt-expander \
  --model models/Qwen3.5-4B \
  --text '可爱的边牧，在草地探索，全身，柔和日光' \
  --max-new-tokens 96

项目通过 Unsloth text_only=True 加载基座，再通过 PEFT 加载 adapter；使用基座的 tokenizer 和发布包的 system prompt。训练使用 Transformers 5.5.0、Unsloth 2026.9.4；完整环境版本见 requirements-resolved.txt。以上下载示例需在有 HF 网络访问的环境执行。

训练配置

完整配方见 training_recipe.json，训练结果见 training_summary.json、metrics.csv 和 loss.png。发布包内本机绝对路径已改为可移植路径，权重内容未修改。

数据与评估

Anima Prompt Expander Dataset v0.4：500 个概念、1,000 对样本；train / validation / test 为 900 / 50 / 50。同一概念的改写保留在同一 split。来源表包含 200 条已确认 pilot 和 800 条合成扩展样本。

验证集用于 checkpoint 选择；最终 50 条 test 未用于训练或选择，本次发布不宣称最终测试集成绩。Validation loss 不是图像生成质量评分。项目另有 30 条固定开发 benchmark，不能替代实际 Anima 出图评估。

该模型是小规模、特定任务的实验模型，可能遗漏约束、过度补充细节，或在训练分布外表现不稳定。

许可与来源

基座模型标注为 Apache-2.0。本项目现有记录尚未单独声明 adapter 和数据集的许可证；基座许可证不等于数据集许可证，本卡不擅自为其补充授权声明。