Doctor.Song-0.8B-Medical

Doctor.Song-0.8B-Medical

中文医学对话大模型。基于 Qwen3.5-0.8B-Base，在单卡 RTX 3090 (24GB) 上完成 PT → SFT → DPO → SFT-CoT 四阶段全流程训练。

模型规格

可用版本

训练数据

---

使用方式

Transformers（FP32 完整版）

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Songlei327/Doctor.Song-0.8B-Medical",
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("Songlei327/Doctor.Song-0.8B-Medical")

messages = [{"role": "user", "content": "感冒发烧了应该怎么办？"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=512, temperature=0.7)
print(tokenizer.decode(output[0], skip_special_tokens=True))

4-bit 量化版

pip install bitsandbytes

model = AutoModelForCausalLM.from_pretrained(
    "Songlei327/Doctor.Song-0.8B-Medical",
    subfolder="4bit",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("Songlei327/Doctor.Song-0.8B-Medical")
# 使用方式同上

llama.cpp / GGUF

# 下载 GGUF
huggingface-cli download Songlei327/Doctor.Song-0.8B-Medical --local-dir . gguf/

# 直接推理
llama-cli -m gguf/doctor-song-Q4_K_M.gguf \
    -p "<|im_start|>user\n感冒发烧了应该怎么办？<|im_end|>\n<|im_start|>assistant\n" \
    -n 512 -t 4

# 或启动 OpenAI 兼容 API 服务
llama-server -m gguf/doctor-song-Q4_K_M.gguf \
    --port 8000 -ngl 99 --ctx-size 4096
# curl http://localhost:8000/v1/chat/completions

LoRA 适配器（复现/继续训练）

# 合并 SFT LoRA 到基座模型
python tools/merge_peft_adapter.py \
    --base_model Qwen/Qwen3.5-0.8B-Base \
    --lora_model ./lora/sft-lora \
    --output_dir ./outputs/sft-merge

# 合并 DPO LoRA
python tools/merge_peft_adapter.py \
    --base_model ./outputs/sft-merge \
    --lora_model ./lora/dpo-lora \
    --output_dir ./outputs/dpo-merge

---

推理速度参考

---

免责声明

本模型仅限研究目的使用，不能替代专业医生诊断。模型输出不代表医学建议，具体医疗问题请咨询执业医师。