dvla-mujoco-v2-basket-act-rgb250

act_v2_basket_rgb250 — MuJoCo basket(날아오는 물체를 든 상자로 받기) ACT 정책

재현 코드·README: GitHub mickeykang16/DynamicVLA 브랜치 basket-v2-rgb250-repro (private). 학습 데이터: HoonheeCho/dvla-mujoco-v2-basket (private dataset).

모델

• LeRobot 0.3.3 ACT + 패치 3개(lerobot_patch/ 는 GitHub 브랜치에 있음). ImageNet ResNet18(FrozenBN), dim 512, encoder 4 / decoder 1, VAE.
• 입력: opst_cam·wrist_cam RGB 각 3장(t−20, t−10, t 스텝 @250 fps = 40 ms 간격, 7×7 conv 로 9→3 채널 융합), 손(EE) 상태 9차원.
• 출력: 행동 청크 20개(10스텝 = 40 ms 간격), 행동 = 88 ms 뒤 손 자세의 delta(위치 3 + 회전 sin/cos 6) + 그리퍼.
• 학습: 2,000편, lr 1e-5, batch 16, 100k step, H200 1장 약 26시간.

★ 반드시 넣어야 하는 환경변수

TEMPORAL_FUSION_CONV=1 OBS_FRAME_STRIDE=10 ACTION_STRIDE=10 은 config.json 에 저장되지 않고, 로딩이 strict=False 입니다. 빠뜨리면 경고 없이 융합 층이 무작위로 남아 정책이 망가집니다(로그에 Missing key 가 뜸).

평가 결과 (MuJoCo closed-loop, 주 50시드 + 보조 50시드)

같은 시드에서 대본 전문가(정답 물체 상태 사용): 250 Hz 관측 90/100, 25 Hz 관측 + 250 Hz 제어 32/100, 25 Hz 관측·제어 26/100. 보조 평가 = 250 Hz 전문가만 성공한 시드. 평가 프로토콜과 알려진 결함은 GitHub 브랜치의 README·KNOWN_ISSUES.md 참고.

파일

• checkpoints/<step>/pretrained_model/ — 12.5k 간격 8개 (config.json, model.safetensors, train_config.json; train_config 의 경로는 개발 머신 절대경로).
• train_log/act_v2_basket_rgb250.log — 학습 로그.
• eval_outputs/rgb250_ck{025000,050000,075000}.tar — 평가 셀 8개씩(server.log, client.log, 에피소드별 action CSV, 영상).
• third_party/osmesa/libOSMesa.so.8.0.0 — 개발 머신 렌더러(Ubuntu 22.04 libosmesa6 23.2.1-1ubuntu3.1~22.04.4, Mesa MIT 라이선스).
• SHA256SUMS

2026-10-01 추가 — 교란 주입 시연으로 학습한 두 모델 (runs/)

같은 구조·같은 하이퍼파라미터(위와 동일, batch 16, lr 1e-5, 100k step)이고, 학습 데이터만 dvla-v2-basket-250fps-delta-cmd-dart12 (기본 시연 2,000편 + 교란 주입 시연 1,520편, 정지 구간 안 자름, 라벨 = 명령 − 지금 손 자세)로 바꿨다. 학습 env 에 CUR_REF_TARGET=1 CONSIST_LAMBDA=0 FRAME_KEEP_JSON=…/basket_dart2_keep.json 이 추가된다(구조 env 3개는 그대로 필요).

(주 50 + 보조 50 시드, 위 표와 같은 프로토콜. 주/보조 내역은 GitHub 브랜치 reference/eval/results_table_dart_25hz.md.)

• runs/<모델>/checkpoints/{025000,050000,075000,100000}/pretrained_model/ — 평가한 체크포인트 4개씩.
• runs/<모델>/train_log/ — 학습 로그(오라클은 25k 까지 학습한 로그와 100k 까지 이어 학습한 로그 두 개).
• eval_outputs/dart_and_25hz_eval_logs.tar — 두 모델 × 체크포인트 4개 × 셀 8개의 server.log · client.log (action CSV·영상은 뺌). 오라클 25k 평가 폴더 이름은 bk_img_hold1_v2_dart12_cmd_cl_* 이다(같은 체크포인트).