Downloads · 30 days
5
17% of all-time downloads
huang582716403/qlm-v1
qlm-v1 is a machine learning model from huang582716403. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
舜简科技自主研发的新一代电商客服领域对话大模型,基于 Qwen3.6-27B 深度微调,采用 NVIDIA 官方推荐的 NVFP4 量化方案部署,专为电商平台客服场景优化。
Downloads · 30 days
5
17% of all-time downloads
All-time downloads
30
Public
Repo size
20 MB
Likes
0
Public
Click a slice to open those files.
.json20 MB · 100%
From the Hugging Face model README
舜简科技自主研发的新一代电商客服领域对话大模型,基于 Qwen3.6-27B 深度微调,采用 NVIDIA 官方推荐的 NVFP4 量化方案部署,专为电商平台客服场景优化。
QLM-v1 是舜简科技(Shunjian Tech)面向电商客服场景打造的专用对话大模型。模型基于 270 亿参数的通用大模型进行领域微调,深度注入电商客服领域知识,覆盖售前咨询、售中跟进、售后处理、投诉安抚、物流追踪、退换货管理等全链路客服业务流程。
本模型已在淘宝、拼多多、京东、抖店、抖音、天猫、美团、携程等主流电商平台的真实客服场景中完成验证,可直接投入生产环境使用。
|[转移会话],部门,原因),可自动识别需要人工介入的时机并触发转接QLM-v1 并非通用大模型的简单微调,而是从客服业务安全性和服务策略出发,进行了深度的行为对齐。与直接使用通用大模型(如 GPT、Claude、Qwen 原版等)处理客服场景相比,QLM-v1 具备以下不可替代的优势:
通用大模型在客服场景中最大的风险是「胡乱承诺」——为了讨好用户而做出超出商家授权的承诺(如"我给您全额退款""送您赠品"等)。QLM-v1 经过严格的行为对齐,仅承诺权限范围内的方案,不越权承诺,不编造政策,大幅降低商家的法律和财务风险。
通用大模型在缺乏具体信息时倾向于编造答案(如捏造物流信息、虚构退款政策)。QLM-v1 采用领域知识注入 + 安全策略约束,当信息不足时选择主动询问或转人工,而非编造答案。在 1440 场景测试中,幻觉率显著低于通用大模型基线。
内置电商议价策略,在用户压价时能够根据商品利润空间灵活应对:
售后场景采用先安抚、后定责、按策略赔偿的三段式处理流程:
QLM-v1 原生理解轻简客服系统的格式与协议,无需额外适配即可输出结构化指令:
| 能力 | 说明 |
|---|---|
| 多条消息分段 | 自动将长回复拆分为多条消息,模拟真人对话节奏 |
| 转人工触发 | 识别需要人工介入的时机,输出 ` |
| 发送图片 | 支持在回复中插入商品图片、物流截图等图文混排指令 |
| 发送视频 | 支持商品演示视频、操作教程等视频发送指令 |
| Markdown 指令 | 原生理解轻简客服的 Markdown 扩展协议 |
| 本地文件格式 | 识别并处理本地文件路径、订单号、物流单号等结构化数据 |
| 项目 | 详情 |
|---|---|
| 量化方式 | NVFP4 (W4A4),权重和激活均为4bit |
| 量化工具 | nvidia-modelopt 0.37.0 |
| 推理引擎 | vLLM 0.26.0(指定 --quantization modelopt) |
| 模型大小 | 17.5 GB(原始 bf16 为 52 GB,压缩比 3.0x) |
| 显存占用 | 约 18 GB(RTX PRO 6000 Blackwell 实测) |
| 硬件要求 | NVIDIA Blackwell 架构 GPU(SM 10.0+) |
# 安装 vLLM(需 Blackwell 兼容版本)
pip install vllm==0.26.0
# 设置 Blackwell 架构兼容环境变量
export FLASHINFER_CUDA_ARCH_LIST=10.0
export VLLM_USE_FLASHINFER_SAMPLER=0
vllm serve <模型路径> \
--port 8000 \
--quantization modelopt \
--max-model-len 4096 \
--trust-remote-code \
--gpu-memory-utilization 0.9
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="EMPTY"
)
response = client.chat.completions.create(
model="qlm-v1",
messages=[
{"role": "system", "content": "你是舜简科技的电商客服助手,请专业、亲切地回答用户问题。"},
{"role": "user", "content": "我昨天下的单什么时候发货?"}
],
temperature=0.7,
max_tokens=512
)
print(response.choices[0].message.content)
| 指标 | 数值 | 测试条件 |
|---|---|---|
| 测试场景数 | 1440 场景 | 覆盖售前/售中/售后全链路 |
| 回复准确率 | 88% | 1440 场景逐条评估 |
| 平均生成速度 | 46.1 tok/s | RTX PRO 6000 Blackwell |
| 平均响应时间 | 2.47 秒 | 50条批量测试 |
| 质量评分 | 98.0 / 100 | 50条逐条专家评分 |
| Markdown格式违规率 | 0% | 50条批量检测 |
| 重复退化率 | 0% | 50条批量检测 |
| 胡乱承诺率 | < 1% | 1440 场景检测 |
| 转人工触发准确率 | 95.8% | 24场景专项评测 |
1440 个测试场景覆盖以下电商客服核心场景:
如需将本模型用于商业部署或商业化应用,须事先获得舜简科技书面商业授权。商务合作请联系:
我们提供以下专业服务:
本模型由舜简科技开发并发布。模型输出内容仅供参考,不构成任何法律承诺。使用者需对模型生成内容的适用性自行判断并承担相应责任。舜简科技不对因使用本模型而产生的任何直接或间接损失承担责任。
© 2026 舜简科技(Shunjian Tech). 保留所有权利。