Cosmos3-Nano-Policy-DROID-FP8

Cosmos3-Nano-Policy-DROID, FP8 (ModelOpt W8A8, per-tensor static)

FP8 checkpoint of nvidia/Cosmos3-Nano-Policy-DROID (revision 805c0d6d46196ecdc789213a6de72303c383895b) in the layout NVIDIA publishes for nvidia/Cosmos3-Nano@fp8. NVIDIA publishes no FP8 build of the policy model. This one was produced with np-quantizer-v2 (Nota) and checked against NVIDIA's own checkpoint and NVIDIA's own quantization pipeline.

Scheme

Verification against NVIDIA

Reports: verification/.

How far it is from the BF16 original

Action chunks (32 steps x 7 joint positions + gripper) of the FP8 model against the BF16 release, on 32 DROID observations at matched inputs and sampling seeds. sigma is the DROID action standard deviation. Intervals resample the observations (10,000 bootstrap resamples); the gripper interval is Wilson's.

• overall: RMS of (a_candidate - a_original) / sigma over every step and dimension.
• x eager-vs-compile / x seed spread: overall divided by the same statistic for the BF16 model against itself, once run eager vs torch.compile (NVIDIA's served default), once with another sampling seed.
• bias: the largest mean shift of one action dimension, and how many of the 8 dimensions have a 95% interval that excludes 0.
• SNR: variance of the original actions over the mean squared difference, in dB. r: Pearson correlation.
• gripper agree: share of the 1,024 steps whose open/closed state (threshold 0.5) matches.

Reading:

• The FP8 checkpoint moves the actions as much as compiling the BF16 model does (x0.98), and a third as much as changing the sampling seed. Two FP8 builds that differ only in weight rounding are as far from each other as each is from BF16, so differences at this level do not rank checkpoints.
• The gripper state changes on 12 of 1,024 steps (the compile yardstick changes none). At every such step the BF16 gripper output was within 0.057 of the 0.5 threshold (median 0.019), in 7 of the 32 observations.
• Weights: relative RMS error 2.67% per Linear on average (range 2.64% to 2.82%), SQNR 31.47 dB over all quantized weights.

알고리즘 비교 결과 (2026-09-24)

이 저장소는 아래 표의 RTN (전달) 행입니다. (전달)이 붙은 세 build가 HF에 올린 저장소입니다.

결론

• NVIDIA 형식(W8A8 FP8, per-tensor static)에서는 RTN보다 확실히 나은 알고리즘이나 조합이 없습니다.
• fake quant와 실제 서빙에서 순위가 서로 반대입니다. 서빙에서 RTN과 벌어진 차이도 대부분 관측 2개에서 나옵니다. 그래서 관측 32개로는 build 간 순위를 가를 수 없습니다.
• 전달본 3개(RTN, SQ auto-α, 이동평균 observer)는 그대로 둡니다.
• per-channel weight / per-token activation 계열은 fake quant 오차가 가장 낮습니다. 그러나 RTN과 유의한 차이가 없고, NVIDIA 서버가 읽는 형식도 아닙니다.

1. 실험 설정

2. 서빙 결과

전달본 3개와, 전달 후 추가한 NVIDIA 형식 build 8개 중 fake quant 오차가 가장 낮은 SQ auto-α + GPTQ, 판정 변화가 가장 적은 SQ auto-α + AutoRound를 서빙했습니다. 다섯 build 모두 서버가 FP8 가중치 504/504개를 TorchAO로 로드했습니다.

차이가 어디서 나오는지 관측별로 나눠 봤습니다.

• 네 build 모두 관측 28번이 차이를 키운 관측 2개에 들어 있습니다.
• 서빙 RTN은 오차 상위 관측 3개(5, 28, 2)가 제곱오차의 46%를 차지합니다. 같은 체크포인트를 fake quant로 돌리면 상위 관측이 7, 12, 15번으로 바뀝니다.
• 이동평균 observer는 95% CI가 0을 배제합니다. 다만 4개를 동시에 비교한 것을 Bonferroni로 보정하면 p ≈ 0.09입니다.

3. fake quant 결과

3.1 NVIDIA 형식 16개

• NVIDIA 형식 중 RTN보다 오차가 낮은 build는 없습니다.
• AutoRound는 AQ 구현상 INT, UINT, NVFP4 가중치만 튜닝합니다. 그래서 "AutoRound"와 "SQ auto-α + AutoRound" build의 FP8 코드는 각각 RTN, SQ auto-α와 바이트 단위로 같습니다(139억 개 중 0개 차이). 두 행이 RTN, SQ auto-α와 다른 것은 AutoRound 단계 뒤 activation calibration이 달라졌기 때문입니다(입력 scale 504개 중 250개, 302개). 즉 이 두 행은 AutoRound의 효과가 아닙니다.
• HISTOGRAM observer는 확실히 나쁩니다. RANGE_SHRINK는 보정 전 기준으로만 나쁩니다(21개 비교 보정 시 유의하지 않음).
• GPTQ는 AQ schema가 per-tensor weight를 막습니다. 실험 브랜치에서 이 검사를 풀었고, 원소 1개짜리 scale을 행 수만큼 펴는 수정도 넣었습니다. 이 수정이 없으면 Scale shape torch.Size([1, 1]) is incompatible with input shape torch.Size([4096, 1])로 실패합니다.

3.2 per-channel weight / per-token activation 6개 (탐색용)

RTN 대비 차이는 NVIDIA 형식 RTN(per-tensor)과 비교한 값입니다.

이 계열은 두 가지 이유로 지금 형식으로는 전달할 수 없습니다.

• NVIDIA 서버의 ModelOpt 체크포인트 로더(apply_modelopt_fp8_checkpoint_inplace)는 두 scale을 (1, 1)로 읽어 PerTensor()로만 설치합니다.
• 같은 scheme은 프레임워크 런타임 FP8(quantization.method=fp8, fp8_granularity=per_row)에만 있습니다. 이 경로는 BF16 가중치를 로드할 때 RTN으로 양자화하므로, AQ 알고리즘 결과를 담을 수 없습니다.

4. 결정과 남은 일

5. 제약

• 평가가 in-sample입니다. calibration, 알고리즘 데이터, 선정이 모두 같은 32개 관측에서 나왔습니다.
• AQ는 DIFFUSION 모델에 SVDQuant만 허용합니다. 비교는 이 게이트를 푼 실험 브랜치 cosmos3-algo-sweep(미푸시)에서 했습니다. 커밋은 a3a1b56c4(게이트), ea30283f3(GPTQ per-tensor 검사), 8cdadc414(scale shape)입니다.
• vLLM-Omni 서빙은 해보지 않았습니다.

6. 재현 (내부 GPU 서버 경로)

Use

NVIDIA policy server (FP8 kernels)

The first row of the table was served by cosmos-framework's RoboLab action policy server (in process, 2 x RTX 4090, FSDP2 dp_shard_size=2, cfgp_size=2, eager, guardrails off) with checkpoint_path set to this repository and mixed_precision_first_steps=0, mixed_precision_last_steps=0, mixed_precision_w8a16_cache="none", the settings that serve nvidia/Cosmos3-Nano@fp8 W8A8 on every step. On torchao 0.16/0.17 the FP8 path raises inside torch.inference_mode; generation ran under torch.no_grad instead.

Fake quantization on any GPU

fakequant_loader.py builds the transformer with dequantized weights (code * weight_scale) and a static FP8 quantize-dequantize on each quantized Linear's input, computed as np-quantizer-v2's FAKE_QUANT evaluation computes it. No ModelOpt or FP8 hardware is needed. On a checkpoint whose dequantized weights equal an np-quantizer-v2 FAKE_QUANT export's, it gives bit-identical actions (8,192 of 8,192 elements); the second row of the table used it.

from fakequant_loader import load_fake_quant_transformer

transformer = load_fake_quant_transformer("transformer", device_map={"": "cuda:0"})  # 16B parameters, BF16

vLLM-Omni

Not run here. quantization_config.runtime.diffusion_step_policy is NVIDIA's (first 3 and last 3 denoising steps with BF16 activations). With the policy's 4 denoising steps that selects every step, so a runtime that follows it serves FP8 weights with BF16 activations (W8A16), not the W8A8 measured above.

Caveats

• 32 observations. The calibration calls were captured on the same observation set, so the table is in-sample.
• The FP8 codes follow ModelOpt's rounding (the quotient is rounded to bf16 before the FP8 cast), as NVIDIA's checkpoint does. Compared with a single rounding this moves 2.9% of codes by one FP8 step and lowers the weight SQNR from 31.53 to 31.47 dB.
• transformer/serving_manifest.json reads supported: false: it is np-quantizer-v2's verdict for its own LM/VLM vLLM route, not a statement about vLLM-Omni or NVIDIA's server.

Provenance

License

The weights are a quantized derivative of nvidia/Cosmos3-Nano-Policy-DROID and are distributed under the same OpenMDW License 1.1. See NVIDIA's model card for the model's intended use, limitations and safety information.