Downloads · 30 days
0
airace-v3-drafters
qminhlb/airace-v3-drafters
airace-v3-drafters is a machine learning model from qminhlb. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Drafter speculative-decoding cho Qwen/Qwen3.8-27B-FP8 chạy trên vLLM 0.28.0, một H200. Tất cả lossless bằng cấu trúc: drafter chỉ đề xuất, target vẫn quyết định token ⇒ phân bố đầu ra không đổi, không cần cổng accuracy.
Access
Public
Updated Sep 7, 2026
Repo size
15 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors12.9 GB · 86%
At a glance
- License
- apache-2.0
- Access
- Public
- Created
- Sep 4, 2026
- Updated
- Sep 7, 2026
- SHA
- 7d4f9eea
Base models
Model card
From the Hugging Face model README
airace-v3-drafters — drafter DFlash2 cho AI Race 2026 Vòng 3 (private)
Drafter speculative-decoding cho Qwen/Qwen3.8-27B-FP8 chạy trên vLLM 0.28.0, một H200.
Tất cả lossless bằng cấu trúc: drafter chỉ đề xuất, target vẫn quyết định token
⇒ phân bố đầu ra không đổi, không cần cổng accuracy.
Nội dung
| đường dẫn | là gì |
|---|---|
Qwen3.8-27B-DFlash2-inlo/ | BANK 04/09 — -cb + LoRA r=256 (attn+mlp, 5 layer) đã gộp vào model.safetensors |
Qwen3.8-27B-DFlash2-cb/ | BANK 03/09 — drafter DFlash2 sau fine-tune codebook/selector; base của -inlo và là arm control |
adapters/inner_long_lora.pt | LoRA thô trước khi gộp (nguồn của -inlo) |
adapters/body_D.pt | adapter ĐẦU RA (h + h@D) — lever riêng, chồng lấn ~90 % với -inlo, không dùng chung |
adapters/selector_d11_cb.pt | selector/codebook fine-tune sinh ra -cb |
bench/*.jsonl | profile_export.jsonl thô của các arm bench dùng để chấm (D37 kẹp 3 arm, D41 cặp 2 arm) |
BANK.md | cấu hình bank đầy đủ + chuỗi bằng chứng + luật đọc số |
Dùng
vllm serve /model --served-model-name Qwen3.8-27B-FP8 \
--speculative-config '{"method":"dflash","model":"/models/Qwen3.8-27B-DFlash2-inlo","num_speculative_tokens":7}' \
--gdn-prefill-backend triton --mamba-ssm-cache-dtype bfloat16 \
--max-num-batched-tokens 19968 --enable-prefix-caching
RACE_DF2_LAMBDA=1.268647,1.310029,1.228247,1.068589,0.884128,0.807777,0.734170 (λ per-position
của selector -cb) cần plugin race-df2sel; xem BANK.md.
Kết quả đo (bench nội bộ, 900 s/arm, concurrency 5)
-cb (bank 03/09) | -inlo (bank 04/09) | |
|---|---|---|
LEN (token chấp nhận/bước) | 3.59 / 3.67 | 3.95 / 3.87 |
Δ so với -cb | — | +0.207…+0.354 (sàn nhiễu 0.11) |
| Δ TPOT | — | −0.18…−0.20 ms/token |
| Δ TTFT p50 | — | −0.1 ms (không đổi) |
Hai cửa sổ đo độc lập cách 3.5 h cho cùng dấu, cùng cỡ. -inlo được train 12 000 bước trên
57 903 khối context (5120-d, hậu-fc) thu từ chính engine; hàm mất mát chứa đúng phép quyết định
được chấm (argmax(unary + λ·edge) trên top-16) với selector đóng băng.
⚠ Repo private, dùng nội bộ. Base model Qwen/Qwen3.8-27B-FP8 và drafter gốc
incoai/Qwen3.8-27B-DFlash2 không chép lại ở đây.
- License
- apache-2.0
- Created
- Sep 4, 2026
- Updated
- Sep 7, 2026