Qwen3-1.7B-GRPO-math

VERL ADPO: qwen3-1.7b-grpo-wzx-4gpu

本模型由 VERL (Ray PPO/ADPO) 训练生成，并在训练结束自动上传。

• 基础模型: Qwen/Qwen3-1.7B
• 训练框架: VERL (Ray + FSDP + vLLM)
• 任务: qwen3-1.7b-grpo-wzx-4gpu
• 总 Epoch: 2
• 精度: bfloat16
• 优势估计: grpo (use_q_centering=True, use_kde_advantage=False, scale_rewards=False)
• 采样并发: rollout.n=8, max_num_seqs=300, gpu_memory_utilization=0.4
• 训练批量: ppo_mini_batch_size=24, ppo_micro_batch_size_per_gpu=6
• 自适应温度: adaptive_tau_beta=None

快速使用

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("wzx111/Qwen3-1.7B-GRPO-math")
tokenizer = AutoTokenizer.from_pretrained("wzx111/Qwen3-1.7B-GRPO-math")
print(model.config)

训练摘要

• Global step: 175
• 检查点目录: global_step_175/actor/

许可与责任

请遵循上游基础模型与数据集的许可条款。本模型卡由 VERL 自动生成。