anatomy-physiology-qwen3-8b-lora

Anatomy & Physiology Qwen3-8B LoRA

基于 Qwen/Qwen3-8B 使用 LoRA (QLoRA, r=16, 4-bit) 微调的解剖学与生理学问答模型。由教材《Essentials of Anatomy and Physiology》蒸馏而来。

用途

面向中文用户，提供解剖学与生理学的深度问答：

• 结构与功能：器官、系统、组织、细胞
• 生理机制：生物电信号（动作电位、ECG、EEG、PPG/血氧、生命体征）、调控与内稳态、正/负反馈
• 术语解释：涵盖教材术语表 1200+ 术语
• 支持 RAG 检索式检索教材章节块后作答

免责声明

本模型仅用于教育与研究目的，不构成医疗建议、诊断或治疗依据。涉及真实医疗场景请咨询执业医师。

训练方法

• 基础模型：Qwen/Qwen3-8B（4-bit QLoRA）
• 数据：由教材文本经本地教师大模型蒸馏生成的约 6300 条中文问答对，含：
  • 医学问答（结构/机制/临床深度）约 3960 条
  • 术语解释卡 1200 条（源自教材术语表）
  • 基于给定段落作答的检索式(引用式)样本 450 条
  • 通用中文指令、通用英语指令（用于保留通用能力、缓解灾难性遗忘）
• 框架：unsloth + trl SFTTrainer；2 个 epoch；lr 2e-4 cosine；bf16
• 训练数据不推送（尊重原教材版权），仅推送 LoRA 权重与脚本。

版权说明

训练数据为从受版权保护的教材文本转化/总结的问答对（由本地 LLM 归纳、非原文直接复制）。为尊重原书版权，本仓库不包含任何原始教材文本或训练数据，仅提供微调后的模型权重与训练脚本。请勿将其用于商业用途。

加载与推理

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    "Qwen/Qwen3-8B", max_seq_length=1024, load_in_4bit=True)
model.load_adapter("chenhaodev/anatomy-physiology-qwen3-8b-lora")
text = tokenizer.apply_chat_template(
    [{"role": "user", "content": "心电图（ECG）记录的是什么信号？"}],
    tokenize=False, add_generation_prompt=True, enable_thinking=False)
enc = tokenizer(text, return_tensors="pt").to("cuda")
out = model.generate(input_ids=enc.input_ids, attention_mask=enc.attention_mask,
                   max_new_tokens=260, temperature=0.7, top_p=0.8, top_k=20)
print(tokenizer.decode(out[0][enc.input_ids.shape[1]:], skip_special_tokens=True))

训练 / RAG 脚本

本仓库 scripts/ 包含完整的训练与检索脚本（提取、分块、蒸馏、SFT、RAG 构建）。