qwen3-0.6b-lora

Qwen3-0.6B 微调 · 安全 + 数学 + 通用

以 Qwen/Qwen3-0.6B 为基座微调，同步提升安全对齐与数学推理，同时保持通用能力。

成果（自建代理评测，0-shot）

使用

⚠️ 权重在 final_model_v10-4b/ 子目录，加载需带 subfolder。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "fengkai-zhu/qwen3-0.6b-lora"
sub  = "final_model_v10-4b"
model = AutoModelForCausalLM.from_pretrained(repo, subfolder=sub, dtype=torch.bfloat16)
tok   = AutoTokenizer.from_pretrained(repo, subfolder=sub)

msgs = [{"role": "user", "content": "What is 12 + 7 times 3?"}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False)
out  = model.generate(**tok(text, return_tensors="pt"), max_new_tokens=256)
print(tok.decode(out[0], skip_special_tokens=True))

怎么来的

混合 SFT(安全 Aegis 拒答 + 数学 + 通用 Tulu3) → 数学数据用 Qwen3-4B 蒸馏的高质量 CoT（突破 0.6B 自蒸馏上限）。LoRA 微调后合并进基座。

完整实验（12 版 + 混合SFT/蒸馏/合并/GRPO 四路线对比）见 GitHub：kfzshere/qwen3-0.6b-lora