Downloads · 30 days
26
34% of all-time downloads
minids-0.1b-gsmrl
huihui1234/minids-0.1b-gsmrl
minids-0.1b-gsmrl is a machine learning model from huihui1234. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
All-time downloads
77
Public
Parameters
494M
1 GB on disk
Likes
1
Trending 1
Repo makeup
Click a slice to open those files.
.safetensors988 MB · 98%
At a glance
- License
- mit
- Model type
- qwen2
- Access
- Public
- Created
- Mar 9, 2025
- Updated
- Nov 3, 2026
- SHA
- a7023763
Datasets
Model card
From the Hugging Face model README
RL(GRPO)deepseek-v3-0.1b
从预训练出发，再到后训练，完整的跑完了大模型训练的全流程！
模仿 DeepSeek-V3 的模型架构，通过分词器训练-模型预训练-后训练（包括全量指令微调和 DPO）三个阶段的迭代过程，成功训练出一个0.1B 规模的DeepSeek-V3 模型。随后，使用数据集 gsm-Chinese，并设计基 于规则的奖励函数，利用了GRPO 重现DeepSeek R1 模型训练中的“aha”时刻。
数据集选择：https://huggingface.co/datasets/swulling/gsm8k_chinese 。 模型选择自己训练的deepseek-v3-0.1b，框架使用的是:trl
这是checkpoint-300和checkpoint-500的结果，稍微学会了回答格式：
后续的结果，格式会稍微好些
- Type
- qwen2
- License
- mit
- Created
- Mar 9, 2025
- Updated
- Nov 3, 2026