smoltalk-sft-135M-chinese

SmolTalk SFT 135M 中文对话模型

模型描述

这是一个基于 SmolLM2-135M 模型使用 SFT (Supervised Fine-Tuning) 方法在 SmolTalk 数据集上微调的中文对话模型。

训练信息

• 基础模型: HuggingFaceTB/SmolLM2-135M
• 训练数据集: HuggingFaceTB/smoltalk
• 训练步数: 1000 steps
• 批次大小: 4
• 学习率: 5e-5
• 训练框架: TRL (Transformer Reinforcement Learning)

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "your-username/smoltalk-sft-135M-chinese"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 生成对话
inputs = tokenizer("你好，请问", return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

训练配置

• 最大步数: 1000
• 每设备训练批次大小: 4
• 学习率: 5e-5
• 日志记录步数: 10
• 保存步数: 100
• 评估策略: steps
• 评估步数: 50

性能指标

• 训练损失: ~1.46
• 训练时长: ~2小时
• 训练样本/秒: ~0.513

注意事项

• 该模型主要用于中文对话生成任务
• 模型参数量较小（135M），适合资源受限的场景
• 建议根据具体应用场景进一步微调

许可证

Apache 2.0

引用

如果你使用了这个模型，请引用原始的 SmolLM2 和 SmolTalk 项目。