Downloads · 30 days
79
56% of all-time downloads
qwopus38-flash-v2-ninfer
jimmy31chen/qwopus38-flash-v2-ninfer
qwopus38-flash-v2-ninfer is a machine learning model from jimmy31chen. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for ninfer. The card lists the license as apache-2.0.
NInfer 專屬格式 artifact，由 Jackrong/Qwopus3.8-27B-Flash-V2 的 BF16 safetensors 轉換而來。
All-time downloads
142
Public
Repo size
18.2 GB
Likes
2
Public
Repo makeup
Click a slice to open those files.
.ninfer18.2 GB · 100%
At a glance
- Library
- ninfer
- License
- apache-2.0
- Access
- Public
- Created
- Sep 22, 2026
- Updated
- Sep 22, 2026
- SHA
- e2c8dbe4
Base models
Model card
From the Hugging Face model README
Qwopus3.8-27B-Flash-V2 (NInfer Artifact)
NInfer 專屬格式 artifact，由 Jackrong/Qwopus3.8-27B-Flash-V2 的 BF16 safetensors 轉換而來。
⚠️ 這不是標準 Hugging Face 模型格式。此檔案只能被 NInfer 推理引擎載入，無法用 llama.cpp / vLLM / Ollama / Transformers 直接載入。
硬體需求（嚴格）
| 項目 | 需求 |
|---|---|
| GPU | RTX 5090 (32 GB VRAM, sm_120a 架構) |
| CUDA | ≥ 13.1（驅動支援上限 13.2） |
| 作業系統 | Linux (Ubuntu 24.04+) |
| 推理引擎 | NInfer（上游 CUDA-only） |
NInfer 硬鎖 sm_120a 架構檢查，其他 GPU（包括 RTX 5080/4090）無法載入此 artifact。
轉換資訊
- 來源：Jackrong/Qwopus3.8-27B-Flash-V2（Apache 2.0）
- Recipe：官方
qwen3_8_27bgroupwise-int（非 NVFP4） - 轉換時間：39.5 秒（RTX 5090 GPU 加速，
--device cuda） - Artifact 大小：16.96 GiB（18,210,531,328 bytes）
- 量化佈局：439 個大 tensor 進 Q4/Q5/Q6-G64 + W8G32（row-split-k128），BF16 僅剩 norms/biases/embedding
為什麼比 NVFP4 小？
| Artifact | 大小 | 量化策略 |
|---|---|---|
| 本檔 groupwise-int | 16.96 GiB | 激進全面量化：MLP/attention 全進 Q4/Q5 |
| 官方 NVFP4 base | 22.09 GiB | 保守混量化：僅 112 個 MLP tensor 進 FP4，embedding + 完整 output head (~5GB) + attention 留高精度 |
名字叫 NVFP4 的反而大 5.1 GB，因為 quantization coverage 窄。
效能數據（RTX 5090 實測）
| 指標 | 數值 |
|---|---|
| 單流 Decode | 137–189 tok/s |
| Context | 262,144 tokens |
| KV Pool | 315,712 tokens（int8 KV @ auto capacity） |
| MTP 接受率 | 55–79%（agent 流量 55-65%，短 prompt 73-79%） |
| 載入時間 | ~7.9 秒 |
| VRAM @ 262K ctx | ~31 GB |
| Vision | ✅ 支持（end-to-end 驗證通過） |
使用方式
# 1. 下載本檔
hf download jimmy31chen/qwopus38-flash-v2-ninfer qwopus38_flash_v2.ninfer --local-dir ./model
# 2. 安裝 NInfer（需 CUDA 13.1+ 工具鏈）
git clone https://github.com/Neroued/ninfer.git
cd ninfer
# 編譯（CMake 硬擋 CUDA < 13.1）
cmake -S . -B build -G Ninja -DCMAKE_BUILD_TYPE=Release \
-DCMAKE_CUDA_ARCHITECTURES=120a -DCMAKE_CUDA_COMPILER=/usr/local/cuda-13.2/bin/nvcc
cmake --build build -j16
# 3. 啟動服務
./build/apps/ninfer-serve ./model/qwopus38_flash_v2.ninfer \
--host 0.0.0.0 --port 8000 \
--max-context 262144 --kv-capacity auto --kv-dtype int8 \
--max-concurrency 2 --spec mtp --draft-tokens 3 \
--lm-head-draft --preserve-thinking --vision --seed 0
API 使用
# OpenAI-compatible API
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "qwopus38-flash-v2", "messages": [{"role": "user", "content": "hello"}]}'
特殊參數：
reasoning_effort:none|low|medium|xhigh（不支援high/max）thinking_budget: 可覆蓋服務端預設
授權
- 基礎模型：Apache 2.0（源自 Jackrong/Qwopus3.8-27B-Flash-V2）
- 本 artifact：Apache 2.0
技術筆記
此 artifact 是 Qwopus3.8-Flash-V2 在 NInfer 引擎上的完整轉換驗證成果：
- 結構相容性：V2 vs 官方 Qwen3.8-27B — config 零結構差異、1,199 個 tensor 名稱 100% 相同（含 15 個
mtp.*）、tokenizer 248,077 詞零差集 - MTP 支持：包含完整的 Multi-Token Prediction head（15 個 tensor）
- Vision 支持：包含完整的 vision tower（end-to-end 驗證通過）
聯絡
- Hugging Face: jimmy31chen
- 轉換工具：NInfer
- Library
- ninfer
- License
- apache-2.0
- Languages
- zh, en
- Created
- Sep 22, 2026
- Updated
- Sep 22, 2026