ChatMed-Consult

以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。

为推动LLM在中文医疗领域的发展和落地，提升LLM的医疗知识与回答医学咨询的能力，我们现推出ChatMed系列中文医疗大规模语言模型:

• 🚀 ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集。模型主干为LlaMA-7b,融合了Chinese-LlaMA-Alpaca的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部代码都进行了公开。我们也将部署一个在线Gradio demo, 敬请关注。
• ⏳ ChatMed-TCM : 大模型赋能中医药传承。这一模型的训练数据为中医药指令数据集ChatMed_TCM_Dataset。以我们开源的中医药知识图谱为基础，采用以实体为中心的自指令方法(entity-centric self-instruct)，调用ChatGPT得到2.6w+的围绕中医药的指令数据。ChatMed-TCM模型也是以LlaMA为底座，采用LoRA微调得到。

---

Text2DT | 中文医疗大模型评测基准PromptCBLUE | 中文医疗在线问诊数据集ChatMed_Consult_Dataset | 中医药指令数据集ChatMed_TCM_Dataset | 中医药知识图谱

更新

2023/5/05 开源ChatMed-Consult模型;

ChatMed-Consult模型介绍

模型介绍

• 训练数据：中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集。我们发现，在线爬取的问诊数据，虽然可以反映真实世界的用户/患者的问诊需求，但是一般网上的回答良莠不齐。所以我们调用ChatGPT (gpt-3.5-turbo)得到问诊的回复。 (⏳ todo: 实现一个评估模型，给人工回复进行评分。调用大模型的token毕竟烧钱)
• 模型基座：目前我们开源了基于LlaMA-7b的ChatMed-Consult模型。后续我们将会尝试不同的模型底座，比如LlaMA-13b，MOSS等。
• 代码：模型训练所需要的全部代码见ChatMed-Consult 训练代码。训练中我们借助DeepSpeed(ZeRO stage 3)实现分布式训练。
• 模型权重下载：由于我们目前采用模型是基于Llama-7b进行参数高效微调，所以我们只上传了参数高效微调模块的权重，见ChatMed-Consult模型权重。

快速上手

在使用ChatMed-Consult之前，大家需要准备好LlaMA-7b底座模型，详细操作见LlaMA-7b模型准备。

LlaMA-7b底座模型准备好后，下载ChatMed-Consult的LoRA权重，在3090显卡(或者更强的显卡) 运行以下命令，启动一个简单的基于flask的web service:

python src/web_services/web_service_simple.py

然后运行

python src/web_services/web_service_test.py

上面的脚本主要是运行了test_examples.json文件中提供了测试用例。在使用自己的测试用例时，请注意保持格式一致。

训练

首先，大家需要准备好LlaMA-7b底座模型，保存于resources/chinese-llama-alpaca-plus-lora-7b路径。数据集采用中文医疗在线医疗咨询数据集ChatMed_Consult_Dataset。我们采用deepspeed实现分布式训练：

./src/chatmed_llama_peft/run_train.sh

训练脚本中使用的是4张显卡，大家根据自己的服务器情况调整超参数。

效果对比

我们对比了经过权重转化与合并的中文LlaMA-7b，以及经过了ChatMed_Consult_Dataset 和LoRA微调的ChatMed-Consult模型。下面是五个典型例子的对比。更多测试样例见More test examples

我们可以看到：

• 在线问诊，由于用户输入错字或者语音转文字带来噪音，问诊问题可能不会很规整。在这种情况下，中文LlaMA-7b模型可能会产生没有意义的回答。而ChatMed-Consult可以有效的从干扰中理解用户问题，做出相应的回答；
• ChatMed-Consult的回答会更加具有人性关怀一些，而中文LlaMA-7b模型的回复可能会比较生硬；
• ChatMed-Consult相较于中文LlaMA-7b模型的回答会更加丰富，具有更多可行的建议。
• 大模型作为医生的辅助，其可以多列举可能性和建议，但是不能太过武断的下结论。中文LlaMA-7b模型面对问诊问题会比较容易下直接下结论，似乎是有一些过度自信。ChatMed-Consult一般会说"以下是一些可能..."，相对更加谨慎。

免责声明

• 本项目相关资源仅供学术研究之用，严禁用于商业用途。
• ChatMed-Consult作为基于语言模型的智能助手，其不能代替医生进行医学诊断和给出医学建议。如有需要，请咨询专业医生或前往医院就诊。
• ChatMed系列模型正在快速迭代中，模型权重会定期进行更新。
• ChatMed系列模型基于开源数据，其训练数据的质和量都是有限的，其掌握的医学知识肯定是存在各种各样的缺陷。我们将会不断进行改进和更新。

致谢

本项目基于开源项目进行开发，在此对相关项目和研究开发人员表示感谢。

• LlaMA
• Stanford Alpaca
• Chinese-LlaMA-Alpaca

Logo中的小学霸羊驼是由midjourney自动生成。

Citation

如果你使用了本项目的模型，数据或者代码，请声明引用：

@misc{zhu2023ChatMed,
      title={ChatMed: A Chinese Medical Large Language Model}, 
      author={Wei Zhu and Xiaoling Wang},
      year={2023},
      publisher = {GitHub},
      journal = {GitHub repository},
      howpublished = {\url{https://github.com/michael-wzhu/ChatMed}},
}