FLUX.2-dev-INT8-CONVROT-CORE-NVFP4

FLUX.2-dev INT8 ConvRot Core + NVFP4

This repository distributes a quantized derivative of black-forest-labs/FLUX.2-dev for non-commercial research, experimentation, testing, study, and hobby use.

License and attribution

The FLUX checkpoint is licensed under the FLUX Non-Commercial License. Read and accept LICENSE.md before downloading or using it. The required Black Forest Labs attribution and the derivative notice are in NOTICE.txt. The Mistral text encoder is separately distributed under Apache-2.0; see LICENSE-MISTRAL-APACHE-2.0.txt and NOTICE-MISTRAL.txt.

LICENSE.md is the official license text published by Black Forest Labs for FLUX [dev].

This is an independently modified derivative. It is not an official Black Forest Labs product and is not endorsed, approved, or validated by Black Forest Labs.

Files

Why use this checkpoint?

The audit directly compares this checkpoint with flux2-dev-nvfp4-mixed.safetensors, using FLUX.2-dev BF16 as the exact reference. The measured advantages of this checkpoint are efficiency-oriented:

In practical terms, this release is the storage-efficiency choice: it saves 3.01 GiB while the exact overall relL2 difference is only 0.005328 percentage points. The mixed BF16/NVFP4 variant is the weight-space quality choice, but its measured overall advantage is only 0.0597% relative relL2 at 16.5% more storage. No throughput, VRAM-use, or image-quality advantage is claimed; those require a matching runtime and controlled prompt/seed tests.

Quantization

The embedded checkpoint metadata reports recipe flux2_dev_int8_convrot_core_nvfp4_v1:

• 128 logical weight regions use NVFP4 with group size 16.
• 43 logical weight regions use per-row INT8 TensorWise with ConvRot.
• The logical source dtype recorded in the metadata is BF16.

Validation

The included audit compares this checkpoint and a mixed NVFP4/BF16 checkpoint against FLUX.2-dev BF16 in exact mode.

The audit is a weight-space reconstruction comparison. It is not an end-to-end image-quality benchmark; no matching prompt/seed output cache was provided for this release.

Compatibility

The checkpoint is a single .safetensors file containing quantization metadata for NVFP4 and INT8 ConvRot. Use it only in runtimes that explicitly support these formats and the associated auxiliary tensors. Verify compatibility in a controlled local workflow before relying on it.

Native NVFP4 execution requires NVIDIA Blackwell hardware (compute capability 10.0 or newer), such as NVIDIA GeForce RTX 50-series GPUs, plus a compatible runtime. Some runtimes can emulate NVFP4 on earlier GPUs by dequantizing to BF16 during execution; this is runtime-specific and may be slower. It is not a guaranteed compatibility path.

The optional Mistral Small text encoder contains 182 NVFP4 and 28 INT8 ConvRot logical regions. It is supplied as a companion file, not as evidence of a verified end-to-end pairing: this release does not include a tested workflow or prompt/seed comparison for the model-and-encoder combination.

Use restrictions

This derivative remains subject to all restrictions in the FLUX Non-Commercial License, including the prohibition on commercial or production use. Do not present it as an official Black Forest Labs release. You are responsible for lawful use and for any content-filtering, review, disclosure, export-control, or other obligations that apply to your use.

---

Deutsch

Dieses Repository enthält eine quantisierte Ableitung von black-forest-labs/FLUX.2-dev für nichtkommerzielle Forschung, Experimente, Tests, Studium und Hobbyprojekte.

Dateien

Warum diesen Checkpoint verwenden?

Der Audit vergleicht diesen Checkpoint direkt mit flux2-dev-nvfp4-mixed.safetensors gegen FLUX.2-dev BF16 als exakte Referenz. Die gemessenen Vorteile dieses Checkpoints liegen bei der Effizienz:

Praktisch ist dieser Release die speichereffiziente Wahl: Er spart 3,01 GiB, während die exakte Gesamt-relL2-Differenz nur 0,005328 Prozentpunkte beträgt. Die gemischte BF16/NVFP4-Variante ist die Weight-Space-Qualitätswahl, ihr gemessener Vorteil beträgt aber nur 0,0597% relatives relL2 bei 16,5% mehr Speicher. Es wird kein Durchsatz-, VRAM- oder Bildqualitätsvorteil behauptet; dafür sind eine passende Runtime und kontrollierte Prompt-/Seed-Tests nötig.

Quantisierung

Die eingebetteten Checkpoint-Metadaten nennen die Recipe flux2_dev_int8_convrot_core_nvfp4_v1:

• 128 logische Gewichtsbereiche nutzen NVFP4 mit Gruppengröße 16.
• 43 logische Gewichtsbereiche nutzen zeilenweises INT8 TensorWise mit ConvRot.
• Als logischer Ausgangsdatentyp ist BF16 hinterlegt.

Der begleitende Mistral-Small-Textencoder enthält 182 NVFP4- und 28 INT8 TensorWise-ConvRot-Bereiche. Er ist eine optionale Begleitdatei und kein Nachweis einer verifizierten End-to-End-Kombination.

Validierung

Das ist ein exakter Weight-Space-Rekonstruktionsvergleich und kein End-to-End-Bildqualitäts-Benchmark. Es lagen weder ein passender Activation-Cache noch ein Prompt-/Seed-Ausgabevergleich vor.

Kompatibilität

Beide Dateien sind einzelne .safetensors-Checkpoints mit NVFP4- und INT8-ConvRot-Metadaten. Verwende sie nur in einer Runtime, die diese Formate und die zugehörigen Hilfstensoren ausdrücklich unterstützt. Prüfe die Modell-/Encoder-Kombination zuerst in einem kontrollierten lokalen Workflow.

Die native NVFP4-Ausführung erfordert NVIDIA-Blackwell-Hardware (Compute Capability 10.0 oder neuer), etwa GeForce-GPUs der RTX-50-Serie, sowie eine kompatible Runtime. Manche Runtimes können NVFP4 auf älteren GPUs durch BF16-Dequantisierung während der Ausführung emulieren; das ist runtimeabhängig und kann langsamer sein. Es ist kein garantierter Kompatibilitätspfad.

Lizenz und Attribution

Der FLUX-Checkpoint steht unter der FLUX Non-Commercial License. Lies und akzeptiere LICENSE.md, bevor du ihn herunterlädst oder nutzt. Die notwendige Black-Forest-Labs-Attribution und der Derivative-Hinweis stehen in NOTICE.txt.

Der Mistral-Textencoder wird separat unter Apache-2.0 verteilt; siehe LICENSE-MISTRAL-APACHE-2.0.txt und NOTICE-MISTRAL.txt. Dieses Repository ist kein offizieller Release von Black Forest Labs oder Mistral AI und wurde von keiner der beiden Firmen bestätigt, freigegeben oder validiert.

Für den FLUX-Checkpoint gelten weiterhin alle Einschränkungen der FLUX Non-Commercial License, einschließlich des Verbots kommerzieller oder produktiver Nutzung.