qwen3-8b-sport-weight-lora

Qwen3-8B 运动指导 & 体重管理 专科模型（LoRA）

基于 Qwen/Qwen3-8B 使用 LoRA (QLoRA/SFT) 微调的中文「运动指导 & 体重管理」垂直领域专家模型。适配器文件（adapter）可直接用 PEFT 加载到 Qwen3-8B 基础模型上。

能力覆盖

该专科模型训练了 6 大类技能，均以《Med-Books-20260914》领域书籍为知识来源：

1. 个性化运动 & 减重/增重计划 —— 依用户身体数据（性别/年龄/身高/体重/BMI/目标/运动偏好/运动伤病）生成每周有氧+无氧(力量)+热身+拉伸训练计划，给出强度与频率（含心率区间）。
2. 上传体重数据分析/评价 —— 分析减重/增重进度、平台期成因，并给出个性化调整建议。
3. 审核官/审判官 —— 判断给定的健康/运动说法是否准确，并给出依据（训练为医学循证风格）。
4. 运动·体重科普内容输出 —— 热量、宏量营养、运动方式、慢病相关运动处方等知识问答。
5. 跨域推理/综合 —— 需要结合多知识点推理的综合问题。
6. 通用/防遗忘 —— 保持通用对话与领域常识，防止灾难性遗忘。

训练数据

• 来源：/workspace/Med-Books-20260914/ 7 本书（4 本文字层 + 3 本 OCR 康复类），共 465 个领域 chunk，覆盖运动与体重管理。
• 通过 teacher LLM 蒸馏生成 6 类 QA，汇总 19,649 条 SFT 样本（train 19,060 / eval 589）：
  • 通用/防遗忘 11,762
  • 跨域推理/综合 2,791
  • 内容输出/运动·体重科普 2,642
  • 个性化训练·体重管理 1,389
  • 内容输出/运动医学·深度 601
  • 审核官/审判官 464

训练配置

• 框架：Unsloth + HuggingFace TRL (SFT)
• 方法：QLoRA（4bit 基础模型 + LoRA r=64/alpha=128/rank 16 目标模块）
• 2 个 epoch，bf16，padding-free；最终 train_loss ≈ 0.98。

使用方式（PEFT 加载）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_id = "Qwen/Qwen3-8B"
adapter = "chenhaodev/qwen3-8b-sport-weight-lora"

tokenizer = AutoTokenizer.from_pretrained(base_id)
model = AutoModelForCausalLM.from_pretrained(
    base_id, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, adapter)

messages = [{"role": "user", "content": "我28岁男，175cm/82kg，想减脂并改善体能，请给我每周运动计划"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=600)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

RAG 增强（降低幻觉）

本仓库同时提供配套 FAISS 检索知识库：chenhaodev/qwen3-8b-sport-weight-rag（BAAI/bge-small-zh-v1.5 512 维 L2 归一化，465 个文档块）。推荐问答时先检索相关文档块拼入 prompt，再让模型回答，以提高准确率、降低幻觉。

本地小模型部署（llama.cpp）

本模型另已合并且导出为 GGUF，量化 Q4_K_M 后可用 llama.cpp llama-server 本地运行（约 4.8GB），再与本仓库 FAISS 知识库联动，实现完全本地、离线、低成本的专科问答服务。

免责声明

本模型仅用于健康/运动/体重管理的科普与辅助参考，不构成医疗诊断或治疗建议；严重健康问题请咨询专业医师。