Downloads · 30 days
50
24% of all-time downloads
Huanuyn/anon-mygo-qwen3-8b-lora
anon-mygo-qwen3-8b-lora is a text generation model from Huanuyn. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as apache-2.0.
以 Qwen3-8B 为基座、用 QLoRA 微调的千早爱音(BanG Dream! It's MyGO!!!!!)中文角色扮演适配器。配套 RAG(qwen3-embedding:0.6b)+ 重排序(Qwen3-Reranker-0.6B) 世界知识库,可经 ollama 一键挂载部署。
Downloads · 30 days
50
24% of all-time downloads
All-time downloads
206
Public
Repo size
535 MB
Likes
1
Public
Click a slice to open those files.
.safetensors349 MB · 65%
From the Hugging Face model README
以 Qwen3-8B 为基座、用 QLoRA 微调的千早爱音(BanG Dream! It's MyGO!!!!!)中文角色扮演适配器。配套 RAG(qwen3-embedding:0.6b)+ 重排序(Qwen3-Reranker-0.6B) 世界知识库,可经 ollama 一键挂载部署。
粉丝二次创作,非官方作品。角色与世界观版权归 Bushiroad 所有。仅供学习研究,请勿商用。
| 文件 | 说明 |
|---|---|
adapter_model.safetensors / adapter_config.json | LoRA 适配器(peft 格式,r=32, alpha=64,目标模块 q/k/v/o/gate/up/down) |
anon-lora-f16.gguf | GGUF 版适配器(llama.cpp / ollama ADAPTER 直接挂载用) |
system_prompt_anon.txt | 人设 system prompt(训练与推理一致,建议始终使用) |
rag_service.py | RAG+重排+聊天 一体化服务(OpenAI 兼容端点 /v1/chat/completions) |
kb_docs.jsonl | 世界知识库(182 条:人物/剧情/活动/歌曲/卡牌/设定) |
docs/ | 技术过程文档 + 新手部署指南 |
unsloth/Qwen3-8B-unsloth-bnb-4bit(NF4;合并/导出必须用同一量化基座)from unsloth import FastLanguageModel
from peft import PeftModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/Qwen3-8B-unsloth-bnb-4bit",
max_seq_length=2048, load_in_4bit=True,
)
model = PeftModel.from_pretrained(model, "你的仓库/anon-mygo-qwen3-8b-lora")
FastLanguageModel.for_inference(model)
# system prompt 用 system_prompt_anon.txt;建议 temperature 0.7 / top_p 0.9 / repeat_penalty 1.1
ollama pull qwen3:8b-q8_0 # 或自建 Q8 GGUF 基座
cat > Modelfile <<'EOF'
FROM qwen3:8b-q8_0
ADAPTER ./anon-lora-f16.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
SYSTEM """<粘贴 system_prompt_anon.txt 全文>"""
EOF
ollama create anon-mygo:q8_0 -f Modelfile
ollama run anon-mygo:q8_0
需要 ollama 模型 qwen3-embedding:0.6b 与 qwen3-reranker-causal:q8_0(因果版 GGUF,制作方法见 docs/DEPLOY_GUIDE.md 2.3 节):
python3 rag_service.py build # 构建知识库向量索引
python3 rag_service.py chat # 命令行聊天
python3 rag_service.py serve 8377 # HTTP 服务(含 OpenAI 兼容端点,可直接接 AstrBot 等客户端)
事实类问题由 RAG+重排序回答(注入阈值 P(yes)≥0.95),语气与人设由 LoRA 负责——这是刻意分工:事实不进权重,避免知识性过拟合。
本仓库为粉丝技术实践。训练语料来源于游戏官方剧情文本(仅用于个人学习),未包含在发布包中。请遵守 Bushiroad 二次创作准则。