qwen2.5-3b-interview-dpo-lora

Qwen2.5-3B-Instruct 面试助手（SFT+DPO LoRA Adapter）

「面试助手」项目的 SFT+DPO LoRA adapter，基座为 Qwen/Qwen2.5-3B-Instruct。目标是让回答像面试现场口头作答：简单、专业、口语化、长度约 150-300 字、自然收尾。

⚠️ 重要：本 adapter 是在 SFT LoRA 权重上继续 DPO 训练得到的，已经包含 SFT 的权重。直接加载到干净的基座上就是 SFT+DPO 的完整效果，不要再叠加 Shawnno/qwen2.5-3b-interview-sft-lora。

训练信息

• 框架：LLaMA-Factory，sigmoid DPO
• 基座：Qwen/Qwen2.5-3B-Instruct（QLoRA 4bit NF4）
• 起点：SFT LoRA（Shawnno/qwen2.5-3b-interview-sft-lora）
• 数据：805 组长度匹配偏好对（max_len_ratio ≤ 1.3，消除「更长更好」的偏置）
• LoRA：r=8, alpha=16, dropout=0，target=all linear
• 超参：lr=1e-5, cosine, 1 epoch, 101 步, batch 1×acc 8
• 结果：train_loss 0.205, rewards/accuracies 0.99

加载方式

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel

base = "Qwen/Qwen2.5-3B-Instruct"
adapter = "Shawnno/qwen2.5-3b-interview-dpo-lora"

tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(
    base,
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_use_double_quant=True,
    ),
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter)
model.eval()

messages = [{"role": "user", "content": "请解释机器学习中的偏差和方差"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=600, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

效果（64 题贪心解码，独立测试集）

DPO 在保住 SFT 简洁风格的同时，修掉了旧 DPO 的两大问题：natural ending 82.8% → 100%，strong 5-gram 重复率 25.0% → 10.9%（回到 SFT 水平）。已知取舍：DPO 仍比 SFT 长约 100 字，多出来的是更完整的论证和结论句，不是重复水词。

训练过程

详见项目仓库 kinjazA/RL 的「DPO 阶段」章节（偏好数据构造、OOM 修复、natural-ending 修复等）。

Framework versions

• PEFT 0.18.1
• Transformers 5.8.0
• PyTorch 2.11.0+cu128
• Datasets 4.0.0