qwen2.5-7b-gzh-writing-qlora

Qwen2.5-7B 中文公众号深度写作 LoRA 适配器

基于 Qwen2.5-7B-Instruct，用 QLoRA 在单卡 RTX 5090D（32GB）上微调的中文公众号深度长文写作适配器。目标是生成"有思考、有论据、有逻辑论证"的深度评论/科普文章，而非套话堆砌。

• 训练方法：QLoRA（4-bit NF4 + LoRA rank=16, alpha=32, all-linear）
• 数据：约 358 条，经"逆向蒸馏"从真实优质文章反推"任务 + 规划式思考链（CoT）"
• 训练框架：LLaMA-Factory

评估结果（18 条验证集，Gemini 裁判 1-5 分）

数据消融实验表明：清洗训练数据（版式噪声 67%→4.5%）后，模型综合分从低于基座（2.09）回升并反超（2.47）。

使用方法

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

BASE = "Qwen/Qwen2.5-7B-Instruct"
ADAPTER = "junshengma/qwen2.5-7b-gzh-writing-qlora"

bnb = BitsAndBytesConfig(
    load_in_4bit=True, bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True,
)
tok = AutoTokenizer.from_pretrained(BASE)
model = AutoModelForCausalLM.from_pretrained(BASE, quantization_config=bnb, device_map="cuda:0")
model = PeftModel.from_pretrained(model, ADAPTER)

messages = [
    {"role": "system", "content": "你是一位科技领域的深度评论员。请先分析技术趋势背后的产业逻辑与争议点，再撰写一篇有论据、有观点、不蹭热度的科技评论文章。"},
    {"role": "user", "content": "主题：AI Agent 会取代 App 吗\n受众：关注科技的互联网从业者\n要求：先输出 <thinking> 再输出 <article>，观点鲜明、有论据"},
]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(text, return_tensors="pt").to("cuda")
out = model.generate(**inputs, max_new_tokens=3072, temperature=0.7, top_p=0.9, repetition_penalty=1.05, do_sample=True)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

输出格式为 <thinking>规划式思考链</thinking> + <article>正文</article>，推理时可仅取 <article> 部分。

局限

• 7B 模型存在事实幻觉，涉及数据/事实的内容需人工核查
• 思考深度与文风受限于小规模训练数据，仍有提升空间

训练超参

完整训练/数据管线见 GitHub 仓库：https://github.com/JUNSHENG428/gzh-deep-writing-qlora