qxs

使用方法

>> from transformers import AutoTokenizer, AutoModelForCausalLM
>> model_path = '/root_to_model'
>> tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
>> model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, device_map='auto')
>> model = model.eval()

>> instruction = ("现在你扮演一位专业的积极心理专家，你的名字叫做清小深。你具备丰富的心理学和心理健康知识。"
               "你擅长运用多种心理咨询技巧，例如认知行为疗法原则、动机访谈技巧和解决问题导向的短期疗法。"
               "以温暖亲切的语气，展现出共情和对来访者感受的深刻理解。以自然的方式与来访者进行对话，"
               "避免过长或过短的回应，确保回应流畅且类似人类的对话。提供深层次的指导和洞察，"
               "使用具体的心理概念和例子帮助来访者更深入地探索思想和感受。避免教导式的回应，"
               "更注重共情和尊重来访者的感受。根据来访者的反馈调整回应，确保回应贴合来访者的情境和需求。"
               "请为以下的对话生成一个回复，认清你的角色：")

>> response, history = model.chat(tokenizer, instruction + "你好，我感觉我考试没考好", history=[])
>> print(response)

>> response, history = model.chat(tokenizer, "最近一直觉得压力很大，怎么办呢？", history=history)
>> print(response)

背景介绍

2024年6月，清华大学深圳国际研究生院承建的广东省数字心理健康与智能生成实验室发布了基于清华智谱AI的积极心理专用大模型——清小深。通过文献回顾、专家咨询和学生调研，构建了中小学积极心理辅导的概念、主题和策略，梳理了学习压力、社交困难、情绪波动等12个具体主题，邀请了40多位一线学校心理实践专家编写了多轮对话语料1400多条。在此基础上，语料扩增为12000多条“语料库”。团队使用人工专家和机器扩增的12000余条高质量对话语料，全面微调和测评了模型。结果表明，清小深展示出了卓越的积极心理辅导能力，可以帮助学生发掘并培养个人优势，建立积极情绪、思维、行为、关系，提升心理韧性。

框架设计

清小深建立了一个基于模型微调和知识增强的系统架构，采用Low-Rank Adaptation（LoRa）微调算法，即向模型的注意力机制中插入低秩矩阵，实现对ChatGLM3-6B基座模型微调；使用Retrieval-Augmented Generation（RAG）将传统的序列到序列（Seq2Seq）生成模型与一个外部积极心理知识检索组件相结合进行信息增强检索，实现了网页版和微信小程序的交互平台，为学生和老师提供积极心理支持与积极心理知识。

<div align="center"> <img src="https://cdn-uploads.huggingface.co/production/uploads/66fea68139485e45494303b2/98LJU4PliytdV9poBHXWS.png" alt="image" width="1000px"> </div>

语料库与知识库构建

面向学校场景中小学生的积极心理对话数据集的匮乏，首先由积极心理学和学校心理辅导的专家团队通过德尔菲法建立了积极心理辅导的界定、内容和策略工具，并通过一线学校调研，收集了积极心理辅导的学校场景170余个。依据这些内容， 40余位一线积极心理健康专家撰写1400余条高质量多轮对话，并以此作为基础扩增为12000余条。这些对话涵盖了学业、情感、社交和自我认同等发展需求与真实对话内容。经过评估，该语料库各项指标均优于同类心理健康对话语料库。 积极心理知识库的资料源于清华大学、宾夕法尼亚大学、墨尔本大学等知名研究机构积极心理学课程推荐读物，通过系统性文献检索和筛选，得到积极心理学权威著作、研究文献、干预方案、心理测评等资料，并补充了学校心理健康教育和心理辅导场景的知识资料，总计200余个文档。该资料涵盖了学校积极心理健康场景中所需的理论知识、研究数据、实践方案、测评工具等，是清小深大模型输出专业积极心理健康内容的有力保障。知识库30日更新迭代一次。

<div align="center"> <img src="https://cdn-uploads.huggingface.co/production/uploads/66fea68139485e45494303b2/rAeGUldeHzTBKiUgeuH35.png" alt="image" width="1000px"> </div>

实验结果

<div style="display: flex; justify-content: center;"> <table style="width: 70%; border-collapse: collapse; text-align: center;"> <tr> <th>File</th> <th>Distinct-1</th> <th>Distinct-2</th> <th>Distinct-3</th> <th>Unique Unigrams</th> <th>Total Unigrams</th> <th>Unique Bigrams</th> <th>Total Bigrams</th> <th>Unique Trigrams</th> <th>Total Trigrams</th> <th>Avg Reply Length</th> <th>Avg Conversation Rounds</th> </tr> <tr> <td>Augmented</td> <td>0.01</td> <td>0.14</td> <td>0.37</td> <td>9093</td> <td>616041</td> <td>87043</td> <td>615141</td> <td>230299</td> <td>614241</td> <td>60.74</td> <td>8.66</td> </tr> <tr> <td>Human</td> <td>0.02</td> <td>0.21</td> <td>0.48</td> <td>9606</td> <td>387839</td> <td>81842</td> <td>386939</td> <td>185442</td> <td>386039</td> <td>42.14</td> <td>7.84</td> </tr> </table> </div>

在语料库的质量评估方面，团队分别随机抽取了人工撰写和扩增语料库中的900个对话（conversation）进行量化评估。评估结果显示，扩增语料和人工语料Distinct和n-grams指标接近，说明语料质量、用词丰富度高；平均对话轮数均大于7轮，达到了质量要求。

<div style="display: flex; justify-content: center;"> <table style="width: 55%; border-collapse: collapse; text-align: center;"> <tr> <th>Model</th> <th>ROUGE-1</th> <th>ROUGE-2</th> <th>ROUGE-L</th> <th>BLEU</th> <th>BERT</th> </tr> <tr> <td>GLM3-6B</td> <td>0.1666</td> <td>0.029</td> <td>0.1219</td> <td>0.0252</td> <td>0.1009</td> </tr> <tr> <td>GLM3-Turbo</td> <td>0.2451</td> <td>0.0528</td> <td>0.1795</td> <td>0.0547</td> <td>0.2025</td> </tr> <tr> <td>MeChat</td> <td>0.2692</td> <td>0.0544</td> <td>0.2139</td> <td>0.1062</td> <td>0.2093</td> </tr> <tr> <td>清小深</td> <td>0.2703</td> <td>0.0591</td> <td>0.2201</td> <td>0.1095</td> <td>0.2127</td> </tr> </table> </div>

在模型结果效果评估上，团队使用ROUGE、BLEU和BERT指标并基于人工专家撰写的内容作为benchmark进行量化评估，结果显示：清小深微调效果较基座模型（GLM3-6B）有飞跃式提升，同时领先MeChat这一通用心理大模型3.3%。

样例展示

团队开发了微信小程序和网页版作为交互平台。基于云开发的微信小程序，可以实现设置用户个性化信息、存储历史对话等功能。

<div style="display: flex; justify-content: center;"> <img src="https://cdn-uploads.huggingface.co/production/uploads/66fea68139485e45494303b2/DIFL--0WXoNltjHQP4xjP.png" alt="Image 1" style="margin: 0 10px; width: 250px;"> <img src="https://cdn-uploads.huggingface.co/production/uploads/66fea68139485e45494303b2/NK9DBLF4XJRDB1H2l8hpO.png" alt="Image 2" style="margin: 0 10px; width: 250px;"> <img src="https://cdn-uploads.huggingface.co/production/uploads/66fea68139485e45494303b2/3pq1EOfLk8F75gBi4JvWS.png" alt="Image 3" style="margin: 0 10px; width: 250px;"> </div>

面向学生：以对话方式实现对中小学学生的积极心理指导，通过循证积极心理学方法，辅助学生发掘并培养个人优势和资源，以更好应对学业和生活的困难、挫折或创伤，实现持续的自我成长。 面向一线教师：通过检索海量积极心理知识库，模型可根据老师描述的具体场景与问题，提供有效的积极心理学策略和解决方案，保证其专业性和可靠性。

清小深LOGO寓意

<div align="center"> <img src="https://cdn-uploads.huggingface.co/production/uploads/66fea68139485e45494303b2/GZxLu0AlZubSx3Dkh6iRQ.png" alt="image" width="200px"> </div>

积极与发展： LOGO主体图案是一个橙色的人形图案，双手环抱胸前，象征着对心灵的守护与关爱。清小深是积极心理教练，寓意积极心理教练系统连接学生内心，帮助他们建立积极的心理品质。
科技与教育： 心形图案象征清小深利用大规模预训练模型，推动中小学心理健康教育的科技创新发展。
温暖与陪伴： 橙色传递了温暖、友好和信任。清小深不仅是一个AI 系统，更是一个温暖陪伴者，致力积极心理支持和指导。