Downloads · 30 days
0
Cosmos3-Edge-Policy-DROID-FastWAM-v3
geonmin-kim/Cosmos3-Edge-Policy-DROID-FastWAM-v3
Cosmos3-Edge-Policy-DROID-FastWAM-v3 is a robotics model from geonmin-kim. Use it for the robotics task on the model card, and read the license before you ship it in a product. The card lists the license as other.
geonmin-kim/Cosmos3-Edge-Policy-DROID-FastWAM-v1-step25000(RoboLab 27.1%, 최고 FastWAM)에서 warm start한 two-pass FastWAM fine-tune (v3) 중간 체크포인트입니다. 계획된 100000 iter 중 36% 지점이며 학습은 계속 진행 중일 수 있습니다. 평가용 스냅샷이지 최종 산출물이 아닙니다.
Access
Public
Updated Sep 7, 2026
Repo size
88.6 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors100 GB · 100%
At a glance
- Task
- Robotics
- License
- other
- Access
- Public
- Created
- Sep 2, 2026
- Updated
- Sep 7, 2026
- SHA
- e088b037
Base models
Model card
From the Hugging Face model README
Cosmos3-Edge-Policy-DROID — FastWAM two-pass v3 (RoboLab 증거 기반 레시피 수정), step 36000
geonmin-kim/Cosmos3-Edge-Policy-DROID-FastWAM-v1-step25000(RoboLab 27.1%, 최고 FastWAM)에서
warm start한 two-pass FastWAM fine-tune (v3) 중간 체크포인트입니다. 계획된 100000 iter 중
36% 지점이며 학습은 계속 진행 중일 수 있습니다. 평가용 스냅샷이지 최종 산출물이 아닙니다.
- step별 하위 폴더(
step36000/)에 누적. 루트 README는 가장 최근 step을 가리킵니다. - EMA 가중치 기준 export, training state 없음 — pretrained model 파일만.
v1lr/v2에서 무엇을 바꿨고 왜
RoboLab 벤치마크(12 태스크 × 8 arm, n=96) 결과가 근거입니다.
| arm | 성공 | GRIPPER_HIT_TABLE / 에피소드 |
|---|---|---|
| nvidia baseline (full WAM) | 35/96 (36.5%) | 4.5 |
| FastWAM v1 25k (lr 1e-5) | 26/96 (27.1%) | 6.3 |
| FastWAM v1lr 10k (lr 2e-4) | 7/96 | 45.7 |
v1lr(lr 2e-4 + 액션 브릿지 5×)은 1500 스텝부터 7~8%로 무너지고 테이블 충돌이 10배 — 학습률 과다로 사전학습 표현이 파괴된 패턴입니다. v2는 v1lr의 lr을 상속하므로 같은 위험을 안고 있었습니다.
| 항목 | v1lr / v2 | v3 |
|---|---|---|
| base | nvidia base / v2-step3000 | v1-step25000 (건강한 lr 이력) |
| lr | 2e-4, 브릿지 5× | 1e-5, 브릿지 5× (유효 5e-5는 새로 적응된 작은 모듈에만) |
| warm-up | 250 | 1000 (수렴 체크포인트에서 재시작) |
| 데이터 | v2: DROID + IsaacSim 3:1 | DROID만 (success+failure, keep_ranges) |
| GPU / 배치 | 4 GPU, 배치 64 | 2 GPU, grad_accum 2 → 배치 64 유지 |
sim을 뺀 이유: 2 GPU에서는 RankPartitionedDataLoader가 3:1을 1:1로만 실현할 수 있어 sim 비중이
25%→50%로 두 배가 됩니다. sim 로봇은 프레임당 이동량이 DROID의 ~6배라 액션 스케일을 키우는
방향이고, 헛집음·테이블 충돌이 주 실패 모드인 상황에서 그 위험을 지는 대신 lr 수정 효과만 고립해
관찰합니다.
학습 설정
| 항목 | 값 |
|---|---|
| experiment | action_policy_droid_edge_ft_fastwam_v1lr + optimizer.lr=1e-5 override |
| two-pass | pass B action FM (action_loss_weight=10), pass A vision FM (loss_scale=1) |
| max_iter | 100000 (체크포인트 3,000 iter마다) |
| optimizer | FusedAdamW, lr 1e-5, action2llm/llm2action/action_modality_embed 5× |
| scheduler | LambdaLinear, warm-up 1000, f_max 1.0 → f_min 0.1 (cycle 25,000) |
| 학습 대상 | gen expert + 브릿지 — VLM 백본·VAE 동결 |
| 하드웨어 | NVIDIA B300 ×2, FSDP shard 2, bfloat16, activation checkpointing full |
사용법
from huggingface_hub import snapshot_download
path = snapshot_download("geonmin-kim/Cosmos3-Edge-Policy-DROID-FastWAM-v3", allow_patterns="step36000/*")
ckpt = f"{path}/step36000"
python -m cosmos_framework.scripts.action_policy_server_robolab \
--checkpoint-path "$ckpt" --port 8000 \
--format-prompt-as-json True --no-guardrails --drop-generated-vision
평가에 대한 경고
- loss 곡선으로 판정하지 마십시오 — 매칭형 목적함수라 성공/실패 모두 평탄합니다.
- open-loop MAE는 이 프로젝트에서 세 번 방향을 반대로 가리켰습니다. 판정 기준은 RoboLab입니다.
- n=96에서 ±9pp는 노이즈 범위입니다. 체크포인트 비교는 적응 샘플링(
--num-episodes-adaptive 200 --ci-pp-width 0.14)으로, 선택은 단일 step 대신 EMA/soup으로 하십시오.
- Task
- Robotics
- License
- other
- Created
- Sep 2, 2026
- Updated
- Sep 7, 2026