so101-smolvla-sim-real-10task

SO-101 SmolVLA · 仿真与真机混合全参微调（EAI-exp-002 attempt-5）

一个策略，同一套权重，在 SO-101 仿真器与实物上使用同一份动作/状态口径。

仿真验收

最终存点（30000 步），三个仿真场景各 50 局：

三项的置信下界都高于 70%。

⚠️ 实物一侧未在本轮测量。 该模型与真机数据共用同一套口径（关节角为度、 夹爪为 0~100 行程百分比、通道顺序 shoulder_pan/shoulder_lift/elbow_flex/ wrist_flex/wrist_roll/gripper、读数落在 12 位编码器栅格上），并在 2200 集真机 数据上一起训练过；但"具备条件"不等于"验证过"，实机成功率需自行测量。

训练数据

3698 集 / 1,280,507 帧 / 10 个任务，仿真与真机混合：

• 仿真 1498 集（本项目产出，见 so101-sim-pickplace-v2）
• 真机 2200 集（ModelScope 上的 SO-101 遥操数据，9 个任务）

其中 cube 与 can 两个任务两侧都有、共用同一条指令文本，因此落在同一个任务号下。

训练配置

• 基座 lerobot/smolvla_base，全参微调：freeze_vision_encoder=false + train_expert_only=false ⇒ 可训参数 403M / 450M（默认配置只训 100M，视觉塔冻结）
• 6 × A800，accelerate DDP，batch 16/进程 ⇒ effective 96
• lr 5e-5、warmup 2000、cosine decay 到 30000 步（2.22 epoch）
• 图像增强六项全开（亮度/对比度/色相/饱和度/锐度/仿射）

使用

lerobot-eval \
  --policy.path=<本仓> \
  --rename_map='{"observation.images.top": "observation.images.camera1",
                 "observation.images.wrist": "observation.images.camera2"}' \
  --env.type=so101_sim --env.task=SO101PickPlaceCube40-v1 \
  --env.control_mode=pd_joint_pos \
  --env.observation_width=640 --env.observation_height=480 \
  --env.episode_length=500 --env.fps=30 \
  --eval.n_episodes=50

--env.* 四项必须显式给：不给会安静地跑错（绝对角被当成归一化增量、 相机渲成正方形小图、轨迹被截断、帧率对不上），表现为一个会被误读成 「策略没学会」的低成功率。