CR5A-act-Pick_Orange

CR5A ACT Pick Orange Policy

基于 ACT（Action Chunking with Transformers） 架构，在 Dobot CR5A 橙子抓取仿真示范数据上训练的视觉机器人控制策略。

模型接收 CR5A 关节状态、腕部相机图像和外部相机图像，并输出 CR5A 六个机械臂关节及 AG95 夹爪关节的绝对目标位置。

1. 模型信息 (Model Information)

• 策略架构 (Policy): ACT
• 机器人 (Robot): Dobot CR5A
• 夹爪 (Gripper): DH-Robotics AG95
• 仿真平台 (Simulator): NVIDIA Isaac Sim / Isaac Lab
• 训练框架 (Framework): LeRobot
• 视觉骨干网络 (Vision Backbone): ResNet18
• 训练步数 (Training Steps): 50,000
• 训练 Batch Size: 16
• Action Chunk Size: 100
• Execution Horizon: 10
• 控制频率 (Control Frequency): 30 Hz

2. 关联数据集 (Dataset)

训练数据来自：

Dobot-Official/CR5A-Pick_Orange

数据集包含 51 条成功示范轨迹和 25,484 帧数据。

3. 模型输入 (Inputs)

机器人状态

• observation.state: (7,)
• CR5A 六个机械臂关节状态
• AG95 一个 mimic 夹爪关节状态

RGB 图像

• observation.images.wrist: (3, 480, 640)
• observation.images.front: (3, 480, 640)

4. 模型输出 (Outputs)

• action: (7,)
• CR5A 六个绝对关节目标
• AG95 一个夹爪关节目标

5. 快速加载 (Quick Start)

from lerobot.policies.act.modeling_act import ACTPolicy

policy = ACTPolicy.from_pretrained(
    "Dobot-Official/CR5A-act-Pick_Orange"
)

policy.eval()
print(policy.config)

也可以将模型下载到本地：

hf download \
  Dobot-Official/CR5A-act-Pick_Orange \
  --local-dir ./cr5a_act_pick_orange

6. 仿真验证 (Simulation Evaluation)

该模型已经在对应的 Isaac Sim CR5A Pick Orange 环境中完成闭环推理冒烟测试，可以执行训练场景中的橙子抓取任务。

当前结果用于功能验证，尚未提供多随机种子、场景随机化或真实机器人上的正式成功率评估。

7. 使用限制 (Limitations)

• 模型主要针对训练时的固定仿真场景和相机位姿。
• 当前数据规模较小，策略可能对训练场景存在过拟合。
• 相机位置、机械臂初始状态或物体布局发生明显变化时，性能可能下降。
• 将模型部署到真实 CR5A 前，必须增加关节限位、速度限制、异常动作保护和急停措施。