allex-eef-N-robotonly-h16

allex-eef-N-robotonly-h16 — arm N, 로봇 데이터만

jungwook2358/allex-eef-N-h16 과 데이터 소스 하나만 다른 ablation 이다. "사람 데이터 co-train 이 실제로 기여하는가" 를 분리해서 본다.

나머지는 전부 동일: 같은 베이스, 같은 modality config, 절대-EEF 50D, horizon 16, 글로벌 배치 256, lr 1e-4, 60k 스텝, state dropout 0.3, 동일 color jitter, --tune-top-llm-layers 0, CogAlign 없음, 토크나이저 latent 없음.

구조

from huggingface_hub import snapshot_download
p = snapshot_download("jungwook2358/allex-eef-N-robotonly-h16",
                      allow_patterns="checkpoint-30000/*")

⚠️ 정규화 통계가 allex-eef-N-h16 과 다르다

--override-pretraining-statistics 는 실제로 쓰는 데이터셋에서 q01/q99 를 다시 계산한다. 기준 런은 3소스 병합통계를, 이 런은 로봇 단독 통계를 쓴다. 로봇만 볼 모델이니 로봇 범위로 정규화하는 것이 맞지만, 두 런의 액션 정규화 스케일이 다르다는 뜻이다.

→ eval 시 반드시 이 체크포인트 안의 통계를 쓸 것: checkpoint-*/experiment_cfg/dataset_statistics.json, checkpoint-*/processor/statistics.json. allex-eef-N-h16 의 통계를 갖다 쓰면 안 된다.

공통 설정

• base: RLWRLD/RLDX-1-PT-IMG
• action: 절대 EEF 50D = left_wrist_wrt_base 9 + right_wrist_wrt_base 9
  • left_hand_joints 15 + right_hand_joints 15 + neck_joints 2 (waist 제외, 상대화 없음)
• horizon 16, embodiment_tag GENERAL_EMBODIMENT
• 정규화 q99: 2*(x-q01)/(q99-q01)-1 후 clamp(-1,1)
• 글로벌 배치 256 (2 GPU × per-device 128, accum 1), lr 1e-4
• 카메라 2대 (ego left/right), video_length 1, state_dropout 0.3
• VLM 동결: tune_llm=False, tune_visual=False, tune_top_llm_layers=0
• 데이터: robot allex v1~v6 만

추론에 쓰이지 않는 학습 상태(global_step*/, optimizer.pt, scheduler.pt, rng_state_*.pth, training_args.bin, zero_to_fp32.py)는 올리지 않았다.

코드

• Stage-2: jungwook235/RLDX-1-egopi branch feat/allex-eef-h16-midtrain
• 제출 스크립트: jungwook235/action-tokenizer gpu26-server/submit/allex_eef_run3_base_robotonly.sh

⚠️ action_dim 이 48 이 아니라 50 이다.