Downloads · 30 days
0
fireinwind/baichuan-7b-sft-v2
baichuan-7b-sft-v2 is a machine learning model from fireinwind. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
这个模型是基于baichuan的7B的一个SFT的实例模型. 我们采用了一个大约150K的混合的数据集来对baichuan7B进行SFT微调,希望他能在完成基本对话的基础上,能做一些关于想象力,推理能力,数理能力的增强. 我们还混入了大约1K的ZDM的经过手工筛选的润色撰写的QA内容,希望能增强一些关于商品品质,购物咨询方面的能力.
Downloads · 30 days
0
Access
Public
Updated Jun 20, 2023
Repo size
16.8 MB
Likes
4
Public
Click a slice to open those files.
.bin16.8 MB · 100%
From the Hugging Face model README
这个模型是基于baichuan的7B的一个SFT的实例模型. 我们采用了一个大约150K的混合的数据集来对baichuan7B进行SFT微调,希望他能在完成基本对话的基础上,能做一些关于想象力,推理能力,数理能力的增强. 我们还混入了大约1K的ZDM的经过手工筛选的润色撰写的QA内容,希望能增强一些关于商品品质,购物咨询方面的能力.
经过20个epoch的训练,我们获得了这样一个SFT模型.从测试的结果看,具有了基本的对话和回答问题的能力,在逻辑推理方面好于Vicuna和ChatGLM6B,欢迎大家继续测试.
百川7B的项目在这里:https://github.com/baichuan-inc/baichuan-7B 微调的框架在这里: https://github.com/hiyouga/LLaMA-Efficient-Tuning
感谢大家的辛勤工作,我们稍后也会不断努力的继续工作.欢迎大家和我们交流