xm-phi-stfRL

Model Card for xm-phi-stfRL

Model Details

Model Description

xm-phi-stfRL 是由 XMindAI 基于微软开源模型 Phi-4 微调的大语言模型，采用 PEFT（参数高效微调）技术和强化学习优化（RLHF）。该模型在通用任务场景下表现出色，适用于文本生成、问答、情感分析等任务。通过高效参数微调技术，显著提升模型性能，同时降低计算资源消耗。

• 开发团队: XMindAI
• 资助方: XMindAI 内部研发
• 模型类型: 强化学习优化版语言模型
• 语言: 中文、英文
• 许可证: Apache 2.0
• 微调自: microsoft/Phi-4

模型来源

• 模型仓库: xm-phi-stfRL
• 基模型: Microsoft/Phi-4

用途

直接使用

• 文本生成：自动生成文章、报告、摘要或创作故事。
• 问答系统：支持开放领域问答与信息检索。
• 情感分析：对评论、社交媒体文本等进行情感分类。
• 对话生成：生成多轮对话，适合客服、聊天机器人等场景。
• 通用任务：摘要、改写、翻译、信息提取等。

下游应用

• 智能客服与自动问答
• 文本创作与生成
• 通用领域的自然语言处理（NLP）任务
• 文档摘要与信息提取

不适合的应用场景

• 高风险决策（如医学诊断或法律咨询）——需由专业人士审核
• 涉及敏感信息或隐私数据的生成任务
• 对事实性要求极高的场景，如新闻报道或法律分析

偏见、风险和局限性

已知局限性

• 事实性偏差：模型可能生成与事实不符的内容。
• 专业性限制：在医学、法律等专业领域，模型表现可能不如专用模型。
• 长文本生成效果下降：对超过 4k tokens 的长文本，生成质量可能下降。

推荐措施

• 将模型输出视为辅助参考，而非权威答案。
• 在高风险或专业领域使用时，需由相关专家进行审核。
• 避免模型应用于敏感或隐私数据生成。

使用示例

使用该模型进行文本生成：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "xmindai/xm-phi-stfRL"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# 示例
text = "请用中文介绍人工智能的应用场景。"
inputs = tokenizer(text, return_tensors="pt").to("cuda")

output = model.generate(**inputs, max_length=512, do_sample=True, top_p=0.9, temperature=0.7)
print(tokenizer.decode(output[0], skip_special_tokens=True))

训练详情

训练数据

Congliu/Chinese-DeepSeek-R1-Distill-data-110k-SFT

• 数据量：110k 样本
• 数据来源：包含中文领域的知识问答、文本生成、对话、多轮交互等数据。
• 数据清洗：去除噪音数据、重复样本和无效样本。
• 数据增强：采用数据重采样和 Few-shot 数据增强策略。

训练过程

超参数

• 训练精度: bf16 mixed precision
• 批次大小: 32
• 学习率: 2e-5
• 微调方式: LoRA + RLHF（强化学习）
• 训练时长: 约 26 小时
• 硬件配置: H100 80GB

结果摘要

• 在文本生成和问答任务上表现优异，生成内容流畅且准确。
• 情感分析任务表现良好，能够准确判断文本情绪。
• 在开放领域问答中展现出较强的推理能力。

环境影响

• 硬件类型: H100 v5 80GB
• 训练时间: 26 小时
• 云服务提供商: Azure
• 碳排放量: 约 3.6 吨 CO2eq（基于估算）

技术规格

模型架构与目标

• 基于 Phi-4 模型架构，采用自回归生成方式。
• 引入强化学习进行模型优化，提升生成质量与稳定性。
• 支持中英文双语任务，具备多任务处理能力。

基础设施

硬件

• 实例类型: Standard NC80adis H100 v5
• GPU: H100 v5
• 内存: 640GB

软件

• 框架: 🤗 Transformers, PEFT, PyTorch

模型卡作者

• XMind 开发团队
• 联系信息: XMindAI