Downloads · 30 days
7
30% of all-time downloads
SeanWang0027/official-opd-qwen3-1.7b-from-4b-thinking-7168
official-opd-qwen3-1.7b-from-4b-thinking-7168 is a machine learning model from SeanWang0027. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
上游 thunlp/OPD 口径的 On-Policy Distillation 基准线, RLVE 上训练 140 步。
Downloads · 30 days
7
30% of all-time downloads
All-time downloads
23
Public
Parameters
2B
4.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors4.1 GB · 100%
From the Hugging Face model README
上游 thunlp/OPD 口径的 On-Policy Distillation 基准线, RLVE 上训练 140 步。
student Qwen3-1.7B
teacher Qwen3-4B-Thinking-2507 (in-cluster FSDP reward-model worker, 不是 HTTP server)
dataset RLVE
optim lr=1e-6 warmup=0 sched=constant betas=[0.9,0.999]
shape prompt<=1024 resp<=7168 bs=64 n=4
batch train_batch=64 ppo_mini_batch=64 -> 1 次更新/步
dtype bf16
steps 140 耗时 ~130 s/step ≈ 5.1 h (8xH100)
ppo_mini_batch == train_batch 意味着每步只做一次更新, dp_actor.py 里
on_policy = len(mini_batches)==1 and ppo_epochs==1 成立, ratio 恒为 1,
pg_clipfrac 结构性为 0 —— 该指标在这条线上是死的, 不是没触发。
注意 ppo_mini_batch_size 以 prompt 计数; fsdp_workers.py 会 *= rollout.n
再 //= world_size, 所以每次更新实际看到 64×4 = 256 条序列。
| line | avg@8 | pass@8 | 解出 |
|---|---|---|---|
| 基线 未训练 | 0.0333 | 0.1111 | 20 |
| 本模型 (official OPD bf16, 140步) | 0.0458 | 0.1444 | 26 |
| OPD bf16 mini16 (140步) | 0.0556 | 0.1722 | 31 |
| OPD fp32 (105步) | 0.0694 | 0.1833 | 33 |
| official ROSE (140步) | 0.0701 | 0.1778 | 32 |
| teacher-SFT n4 bs256 | 0.0556 | 0.1500 | 27 |
fp32 那条与本模型只差 dtype —— train/mini/n、lr、resp、更新次数全同,
所以 +52% 的差距可归因于 dtype。上游 on_policy_distillation.sh 默认就是 fp32,
本模型的 bf16 是我们早期的偏离。
启动脚本与 verl 见 SeanWang0027/rlve-distill-scripts:
opd/ 下的启动器、verl_opd/ 是这条线用的 verl(与上游 thunlp/OPD 的 OPD 计算路径逐字节等价,
差异逐项核实见 verl_opd/WHICH_VERL.md)。
展平版命令(三层变量已代入)见 opd_resp7168_flat.sh。