SmolVLA-DexHand-Tactile-Checkpoints

SmolVLA DexHand Tactile Checkpoints

本仓库存放 SmolVLA DexHand Tactile 项目的可复现实验权重。目标系统为 MuJoCo 中的 RM65 六轴机械臂与 Gaia 五指灵巧手。

发布模型

• apple_S2_tactile_regularized_residual_full_vision_300_best_step3000：当前主模型 S2V， 普通 300 条数据、共享指尖 MLP、state-token 残差触觉、完整 SigLIP 视觉编码器参与训练。

为了避免团队误用，本仓库只发布当前闭环成功率最高的代表权重；冻结视觉、局部解冻、 prefix-token、纠错数据、无触觉和 800 条数据消融 checkpoint 仍保留在项目归档中，不上传 Hub。

模型结构不能只依据 checkpoint 内的 config.json 判断；触觉融合、视觉训练范围、数据来源、 SHA256 和闭环结果以代码仓库的 configs/artifacts.json 为准。

使用

git clone [email protected]:SCUT-Turing/SmolVLA_Dexhand_tactile.git
cd SmolVLA_Dexhand_tactile
uv sync --locked --python 3.10
./.venv/bin/python scripts/download_hf_artifacts.py \
  --model-id apple_S2_tactile_regularized_residual_full_vision_300_best_step3000
HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 ./run infer S2V --scene-index 9 --viewer

仓库已公开，无需 Hugging Face 登录。下载脚本使用 manifest 固定的 Hugging Face commit，避免 main 后续变化破坏复现。

评测边界

当前最好记录为 S2V 在同一份 30 场景开发集上的 17/30；这些场景已经参与 checkpoint 筛选，不能视为无偏最终测试。项目尚未验证真机下发，权重仅用于研究与 MuJoCo 验证。

上游

本项目基于 LeRobot SmolVLA 和 HuggingFaceTB/SmolVLM2-500M-Video-Instruct。使用时还需遵守 上游模型、代码与资产各自的许可条件。