drawer-policy-training-dependencies

Drawer generator + scratch ActionDiT training handoff

개인 재현용 private repository. Cosmos-Predict2.5-2B 공식 base weight는 포함하지 않습니다. 100k 사전학습을 재현하는 문서가 아닙니다. 이미 학습된 100k generator를 초기값으로 (1) drawer generator 10k, (2) generator + 새 ActionDiT 학습을 실행하는 패키지입니다.

저장소

• 데이터: https://huggingface.co/datasets/Jiiiiiisoo/drawer-policy-training-data
• 체크포인트/실행 파일: https://huggingface.co/Jiiiiiisoo/drawer-policy-training-dependencies
• 코드: https://github.com/jiiiisoo/video_lam.git
• 브랜치: codex/drawer-human-generator-policy
• 고정 커밋: 136d46242762ae4097be9343aa13d3efc59ad211
• code_snapshot_136d462.tar.gz는 해당 커밋의 git archive 기반입니다. 무관한 legacy launcher에 하드코딩되어 있던 인증 토큰 문자열만 REDACTED_USE_PERSONAL_ENV로 제거했습니다. 본 실험 trainer/model 코드는 수정하지 않았습니다. GitHub 인증 없이도 코드 복원 가능.
• run_training.sh는 이 handoff에 포함한 portable launcher입니다. 해당 Git 커밋 안에 있는 파일은 아닙니다.

초기값 구분

checkpoints/generator_base100k.pt: 기존 100k generator의 LoRA, QueryIO, query normalization 등을 담은 policy wrapper. 내부 step=0, parent_step=100000입니다. 새 ActionDiT 학습이 진행된 100k 모델이라는 뜻이 아닙니다. Cosmos 전체 base weight가 아닌 추가 학습 가중치이며 이 파일을 임의로 gen_lora만 추출하지 마세요.

checkpoints/robot_generator10k.pt: 위 100k에서 robot drawer generator만 추가10k 학습. 내부 step=110000, task_step=10000. 기존 robot one-way/independent 비교의 공통 출발점. 이것으로 두번째 단계부터 바로 시작 가능.

checkpoints/mixed_generator20k.pt: robot+human generator 추가20k (내부120000). 기존 mixed one-way30k의 시작점. robot-only10k와 다르므로 혼동하지 마세요. 필요할 때만 다운로드해도 됩니다.

checkpoints/source_lam_step078000.pt와 query_fae32_step050000.pt: 캐시를 만든 source LAM 및 FAE32. SHA는 데이터 캐시 metadata와 일치해야 합니다. 이 패키지에서 FAE를 다시 학습하거나 query를 다시 캐싱할 필요는 없습니다.

데이터 계약

• robot: 45 episodes, 2733 windows = train2648 / validation85, observation.images.top 사용.
• human: 45 episodes, 1471 windows = train1423 / validation48, camera_ego 사용.
• 29-frame window, train window stride7, validation stride28. Episode split 보존.
• FAE posterior-mean query [32,32], frame0 VAE [16,1,60,80].
• text: 정확히 close the drawer, crossattn_proj(Reason1(text)) [512,1024].
• robot action [28,14]는 absolute controller commands, proprio [14]는 window 시작 observation.state.
• 기존 준비본 action은 window start s 기준 action[s+1:s+29]. 추가 shift/차분 금지.
• action/proprio q01/q99는 robot TRAIN에서 계산한 동봉 stats. 둘 다 clipping하지 않음.
• 통계는 padded action을 제외했으나 action loss는 반복 padded target도 사용합니다.
• query_mu/query_sd 및 query +/-4 clamp는 기존 generator 설정 유지. lowdim clipping과 별개.
• .u16.npy query/frame0 파일은 NPY header 없는 BF16 raw bits입니다. 일반 np.load 사용 금지.
• idx.npy의 global row와 prepared lowdim row를 매칭. 파일 순서로 concat하지 마세요.
• manifest 안의 원래 서버 절대경로는 provenance입니다. cached training은 raw MP4를 열지 않습니다. 경로를 일괄 치환하면 manifest SHA가 달라지므로 원본 manifest를 고치지 마세요.
• raw/ ZIP은 optional이며 학습에는 cache/lowdim/text archive만 있으면 됩니다.

다른 서버에서 복원

개인 HF 계정으로 로그인하고, W&B 로그인은 해당 서버에서 별도로 설정하세요. 토큰을 스크립트나 Git에 저장하지 마세요.

export DRAWER_REPRO_ROOT=/workspace/drawer_policy
mkdir -p "$DRAWER_REPRO_ROOT"/{data,deps,code,runs}
hf download Jiiiiiisoo/drawer-policy-training-data \
  --repo-type dataset --include training_caches_and_lowdim.tar MANIFEST.json SHA256SUMS README.md \
  --local-dir "$DRAWER_REPRO_ROOT/data_download"
hf download Jiiiiiisoo/drawer-policy-training-dependencies \
  --local-dir "$DRAWER_REPRO_ROOT/deps"
# SHA256SUMS의 raw/ 항목은 optional 다운로드를 건너뛰면 없을 수 있습니다.
(cd "$DRAWER_REPRO_ROOT/data_download" && sha256sum -c --ignore-missing SHA256SUMS)
(cd "$DRAWER_REPRO_ROOT/deps" && sha256sum -c SHA256SUMS)
tar -xf "$DRAWER_REPRO_ROOT/data_download/training_caches_and_lowdim.tar" -C "$DRAWER_REPRO_ROOT/data"
tar -xzf "$DRAWER_REPRO_ROOT/deps/code_snapshot_136d462.tar.gz" -C "$DRAWER_REPRO_ROOT/code"
cd "$DRAWER_REPRO_ROOT/code/cosmos-predict2.5"
uv sync
export VIDEO_LAM_PYTHON="$PWD/.venv/bin/python"
export COSMOS_PRETRAIN_CKPT=/your/path/to/d20b7120-df3e-4911-919d-db6e08bad31c_ema_bf16.pt
export WANDB_ENTITY=YOUR_ENTITY
export WANDB_PROJECT=video-lam-generation
export POLICY_GPUS=0,1,2,3
export POLICY_BATCH_PER_GPU=7
export POLICY_GRAD_ACCUM=1

공식 base는 nvidia/Cosmos-Predict2.5-2B의 base/pre-trained/d20b7120-df3e-4911-919d-db6e08bad31c_ema_bf16.pt입니다. 해당 모델 접근/라이선스 동의 후 공식 저장소에서 별도로 받으세요. VAE/Reason1을 online으로 학습 중 실행하지 않습니다. 이 cached training에는 VAE/Reason1 가중치 다운로드가 필요 없습니다.

1. Generator 10k 학습

export POLICY_DATASET=robot
export POLICY_OUT="$DRAWER_REPRO_ROOT/runs/robot_generator10k"
POLICY_PREFLIGHT_ONLY=1 bash "$DRAWER_REPRO_ROOT/deps/run_training.sh" generator
POLICY_ADDITIONAL_STEPS=10000 bash "$DRAWER_REPRO_ROOT/deps/run_training.sh" generator

입력 first-frame VAE + text, 출력 FAE32 latent query. Generator LoRA(rank128 self/cross/FFN)+QueryIO 학습, Cosmos base frozen, ActionDiT 없음. LR2e-5, warmup100, global batch28. Query RF loss만 사용. 저장: $POLICY_OUT/task_step_010000.pt (내부110000). human+robot generator를 학습하려면 POLICY_DATASET=mixed, 새로운 POLICY_OUT을 사용하세요. 두 소스는 두 optimizer step마다 1:1 균형 샘플링됩니다. 이 경우 human/robot 모두 query loss만 줍니다.

2. Generator + 새 scratch ActionDiT

방금 만든 generator 또는 제공된 robot_generator10k.pt 중 하나를 두 실험의 공통 초기값으로 지정합니다.

export POLICY_DATASET=robot
export GENERATOR_CKPT="$DRAWER_REPRO_ROOT/runs/robot_generator10k/task_step_010000.pt"
# 단계1을 생략하고 이전 실험과 동일한 시작점을 쓰려면:
# export GENERATOR_CKPT="$DRAWER_REPRO_ROOT/deps/checkpoints/robot_generator10k.pt"

export POLICY_OUT="$DRAWER_REPRO_ROOT/runs/robot_oneway20k"
POLICY_PREFLIGHT_ONLY=1 bash "$DRAWER_REPRO_ROOT/deps/run_training.sh" oneway
POLICY_ADDITIONAL_STEPS=20000 bash "$DRAWER_REPRO_ROOT/deps/run_training.sh" oneway

export POLICY_OUT="$DRAWER_REPRO_ROOT/runs/robot_independent20k"
POLICY_ADDITIONAL_STEPS=20000 bash "$DRAWER_REPRO_ROOT/deps/run_training.sh" independent

One-way: action이 query hidden state 참조, query는 action을 참조하지 않음. Independent: query와 action branch가 서로 참조하지 않음. 두 설정 모두 ActionDiT는 first-frame 전체 spatial token + text 전체 token을 보고 proprio를 INPUT token으로 받습니다. query generation 완료 후 action을 생성하는 2-stage가 아니라 single-loop RF denoising입니다. Generator를 freeze하지 않습니다. Generator LoRA/QueryIO + 새 ActionDiT를 같이 최적화합니다. query LR2e-5/action LR1e-4, action loss weight1, global28, seed20260916, text dropout0. Gradient clipping1은 유지합니다. Absolute action/proprio 값 clipping만 제거한 것입니다. Independent는 one-way 결과를 이어받지 않고 동일 generator checkpoint에서 새 ActionDiT/optimizer로 시작합니다.

Human+robot action training도 지원: POLICY_DATASET=mixed 및 GENERATOR_CKPT를 명시하고 새로운 output을 쓰세요. Human에는 query loss만, robot에는 query+action loss. Batch는 robot/human 균형 샘플링. 이전 mixed 실험을 재현하려면 동봉 mixed_generator20k.pt와 추가30000 steps를 사용합니다. 20k mixed generator 학습을 재현하는 것은 위 generator 명령의 steps만20000으로 바꾸면 됩니다.

검증/재개/범위

• CPU preflight: base architecture, source LAM/FAE SHA, cache row alignment, lowdim stats provenance, projected text shape/coverage, finite values. 이 검사가 real-world 성공을 보장하지는 않습니다.
• Same data이므로 통계를 다시 계산할 필요 없습니다. 새로운 데이터면 train만으로 재계산.
• 4GPU batch7 accum1 또는 2GPU batch7 accum2로 global28 유지.
• PCIe NCCL workaround 기본 on. 다른 NVLink 서버는 통신 smoke test 후 POLICY_NCCL_WORKAROUND=0 권장.
• 정상 종료 후 재실행/오류 발생 시 자기 output/latest.json으로만 resume; 실패는 최대3회.
• output 디렉터리를 다른 stage/data/config와 공유하지 마세요.
• W&B 매step logging, generator val100/action val200, checkpoint1000마다.
• 이 launcher에는 자동 eval VIDEO가 포함되어 있지 않습니다. Loss validation만 포함합니다.
• 기존 학습은 정지하거나 변경하지 않았습니다. 이 패키지는 다른 서버 재현용입니다.
• 정확한 tensor/metadata 무결성은 SHA256SUMS로 확인하세요. CUDA/NCCL 차이로 bitwise 동일 학습은 보장하지 않습니다.