qwen3-14b-internal-med-lora

Qwen3-14B 内科医学知识问答 LoRA

基于《西氏内科学精要（上下卷）》教材内容，用 SFT 微调 Qwen3-14B 得到的内科医学知识问答 LoRA 适配器。

用途

• 内科常见病/多发病的诊断、机制、治疗原则、鉴别诊断等知识问答
• 覆盖心血管、呼吸、肾脏、消化、血液、肿瘤、内分泌、女性/男性健康、骨骼肌肉、感染、神经等系统

训练方法

• 基座模型：Qwen/Qwen3-14B
• 微调：QLoRA（4bit base）+ SFT，ranks r=16, alpha=16, RSLoRA，3 epochs
• 训练数据：由教材章节切块 → 教师模型蒸馏生成中文问答题 → 接地过滤（n-gram 覆盖度门控 + 严禁编造提示词重生成） 确保答案能回溯到原文 → 掺 ~11.5% 通用指令防灾难性遗忘
• 训练集 3421 条，eval 180 条；loss 2.50 → 0.65

免责声明 / Medical Disclaimer

本模型为医学教育与学习工具，其输出不能替代执业医师的专业诊断、治疗建议或当面诊疗。请勿用于急诊、处方或任何临床决策；如有健康问题请及时就医。作者不对因使用本模型造成的任何后果负责。

版权说明

模型的 LoRA 权重、训练脚本与模型卡 均基于教材内容提炼，可自由使用。不附带也不分发教材原文或直接衍生自原文的训练数据，训练数据尊重原书版权。

推理（加载 LoRA）

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    "Qwen/Qwen3-14B", max_seq_length=1024, dtype=None, load_in_4bit=True)
model.load_adapter("chenhaodev/qwen3-14b-internal-med-lora")

text = tokenizer.apply_chat_template(
    [{"role": "user", "content": "什么是急性心肌梗死？谈谈其诊断方法。"}],
    tokenize=False, add_generation_prompt=True, enable_thinking=False)
enc = tokenizer(text, return_tensors="pt").to("cuda")
out = model.generate(input_ids=enc.input_ids, attention_mask=enc.attention_mask,
                   max_new_tokens=200, temperature=0.7, top_p=0.8, top_k=20)
print(tokenizer.decode(out[0][enc.input_ids.shape[1]:], skip_special_tokens=True))

关联资源

• GGUF 量化模型：chenhaodev/qwen3-14b-internal-med-gguf（Q4_K_M / Q5_K_M / Q8_0）
• 用于本地知识检索的 FAISS RAG 索引与脚本（见训练项目 scripts/）

评测说明

无留出集评测，训练 loss 不代表效果。