Downloads · 30 days
173
7% of all-time downloads
Mini-Chinese-Phi3
niwz/Mini-Chinese-Phi3
Mini-Chinese-Phi3 is a text generation model from niwz. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as mit.
All-time downloads
2.6K
Public
Parameters
134M
537 MB on disk
Likes
4
Public
Repo makeup
Click a slice to open those files.
.safetensors537 MB · 100%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- mit
- Model type
- phi3
- Access
- Public
- Created
- Jun 22, 2024
- Updated
- Jun 22, 2024
- SHA
- da3f04a8
Model card
From the Hugging Face model README
<div align="center">
Mini Chinese Phi3
</div>Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B，使用常见的中文语料进行预训练和微调。主要内容包括了
- 数据集的整理与简单清洗
- 中文词表预训练
- 基于phi3结构的模型预训练
- 基于预训练模型的指令微调（SFT），包括了全量微调和LoRA微调
- 基于指令微调模型的直接偏好优化（DPO）
- 模型评测 （待做）
项目中的所有训练过程均在两张3090显卡上进行，使用DeepSpeed框架和Flash Attention 2进行加速，预训练用时约40小时，SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践，同时也希望能够帮助到同样初学大模型的小伙伴。
项目训练细节等已在Github上开源，欢迎大家提出宝贵意见和建议。项目地址
- Task
- Text Generation
- Library
- transformers
- Type
- phi3
- License
- mit
- Languages
- zh
- Created
- Jun 22, 2024
- Updated
- Jun 22, 2024