ShenNong-TCM-LLM

ShenNong-TCM-LLM

Repo for ShenNong-TCM-LLM (“神农”大模型，首个中医药大模型)

以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。

为推动LLM在中医药领域的发展和落地，提升LLM的在中医药方面的知识与回答医学咨询的能力，同时推动大模型赋能中医药传承，我们现推出ShenNong中医药大规模语言模型:

• 🚀 ShenNong-TCM :
  • 这一模型的训练数据为中医药指令数据集ShenNong_TCM_Dataset。
  • ChatMed_TCM_Dataset以我们开源的中医药知识图谱为基础；
  • 采用以实体为中心的自指令方法entity-centric self-instruct，调用ChatGPT得到11w+的围绕中医药的指令数据；
  • ShenNong-TCM模型也是以LlaMA为底座，采用LoRA (rank=16)微调得到。微调代码与ChatMed代码库相同

同时，欢迎大家关注我们的其他医疗大模型开源项目

• 🚀 ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集。模型主干为LlaMA-7b,融合了Chinese-LlaMA-Alpaca的LoRA权重与中文扩展词表，然后再进行基于LoRA的参数高效微调。我们将全部代码都进行了公开；
• 🚀 ChatMed-MT : ChatMed-Consult的多轮对话版本，对已有的开源中文问诊数据集进行LLM自动改造，使得医生回复文本更加具有共情性，也更贴心与详细，由此训练的LLM在患者/用户体验上会更好。
• 🚀 PromptCBLUE中文医疗大模型评测基准: 将CBLUE基准进行改造为提示学习模式，形成对大模型的中文医疗知识与医疗文本处理能力的评测基准。PromptCBLUE旨在采用一个生成式大模型即可完成医疗NLP相关的各种不同任务，如病历结构化，问诊，病例文书撰写等。

更新

2023/6/25 🚀 开源中医药指令数据集ShenNong_TCM_Dataset的v0.2版本，数据量达到11w+; 同时上传ShenNong-TCM模型checkpoint至model.

2023/6/21 🚀 开源中医药指令数据集ShenNong_TCM_Dataset的v0.1版本，v0.2版本即将更新;

快速上手

如果同学们想要采用中医药指令数据集ShenNong_TCM_Dataset进行大模型微调，可以参考ChatMed代码库的代码和训练脚本；

以实体为中心的自指令方法

中医药指令数据集ShenNong_TCM_Dataset是完全开源的，可供社区成员们使用。

我们知道，垂直领域相较于通用领域的不同之处在于其一般是知识密集性的，而这些知识一般是围绕一些实体的。所以，我们提出实体为中心的自指令方法entity-centric self-instruct，即围绕垂直领域中的核心实体，以及各种不同的意图场景，进行指令的生成。 如果小伙伴们想要基于自己本地的知识库/知识图谱，进行entity-centric self-instruct. 这一部分的代码请参考ShenNong-TCM-LLM代码库。下载代码库后，对src/entity_centric_self_instruct.py文件进行相应的配置修改，运行类似于下面的命令（注意需要在代码文件中配置自己的api key）：

python src/entity_centric_self_instruct.py your_KG_triples.txt <your_output_file.jsonl>

其中"your_KG_triples.txt"文件是知识图谱每个三元组写在txt文件形成的，参考TCM-KG或者TCM-KG文件.

效果对比

通过使用中医药指令数据集ShenNong_TCM_Dataset对中文LlaMA-7b模型进行LoRA微调，可使得该模型在回复中医药相关问题方面获得明显的提升。这里我们展示了5个典型中医药问题下不同模型的回复。更多测试样例见More test examples

我们可以看到：

• ShenNong-TCM的回答会更加具有人性关怀一些，而中文LlaMA-7b模型的回复可能会比较生硬；
• ShenNong-TCM相较于中文LlaMA-7b模型的回答会更加丰富，具有更多可行的建议，特别是可以有效根据症状推荐方剂/中草药。

免责声明

• 本项目相关资源仅供学术研究之用，严禁用于商业用途。
• ShenNong-TCM作为基于语言模型的智能助手，其不能代替中医/西医进行医学诊断和给出医学建议。如有需要，请咨询专业医生或前往医院就诊。
• ShenNong-TCM系列模型正在快速迭代中，模型权重会定期进行更新。
• ShenNong-TCM系列模型基于开源数据，其训练数据的质和量都是有限的，其掌握的中医知识肯定是存在各种各样的缺陷。我们将会不断进行改进和更新。

致谢

本项目基于开源项目进行开发，在此对相关项目和研究开发人员表示感谢。

• LlaMA
• Stanford Alpaca
• Chinese-LlaMA-Alpaca
• ChatMed

Logo中的"神农"形象是由midjourney自动生成。

Citation

如果你使用了本项目的模型，数据或者代码，请声明引用：

@misc{zhu2023ChatMed,
      title={ChatMed: A Chinese Medical Large Language Model}, 
      author={Wei Zhu and Xiaoling Wang},
      year={2023},
      publisher = {GitHub},
      journal = {GitHub repository},
      howpublished = {\url{https://github.com/michael-wzhu/ChatMed}},
}