Qwen3.6-27B-MXFP4-VL-MTP

English | 中文

A vision-preserving MXFP4 quantization of Qwen3.6-27B for Apple Silicon, with the MTP (Multi-Token Prediction) head kept intact for native speculative decoding — no separate draft model required.

面向 Apple Silicon 的 保留视觉能力的 MXFP4 量化版本，完整保留 MTP（多 token 预测）头，原生支持投机解码——无需独立的草稿模型。

Introduction

This is an MXFP4 (4-bit) MLX quantization of Qwen/Qwen3.6-27B, produced with junainfinity/mlx-mtp. Unlike generic 4-bit conversions, this build:

• Keeps the vision tower in fp16 — full image-understanding capability is preserved (VL model)
• Keeps the MTP head weights — enables self-draft speculative decoding (~1.6× speedup, see mlx-mtp benchmarks)
• Keeps SSM-sensitive tensors in high precision (a_log, dt_bias, conv1d, ssm_*) to avoid hybrid-state degradation

Why This Matters

• The MTP head is an extra transformer layer that predicts token t+2 from the hidden state at position t
• Trained end-to-end with the backbone — zero quality loss
• No separate draft model needed (unlike DFlash-style approaches)
• Vision is usually the first casualty of aggressive quantization — here it stays fp16

Model Details

Quantization Layout

Model Directory Structure

Qwen3.6-27B-MXFP4-VL-MTP/
├── config.json                        # mlx_mtp metadata + quantization_config.mtp_num_hidden_layers: 1
├── generation_config.json
├── preprocessor_config.json           # image processor config
├── chat_template.jinja
├── tokenizer.json
├── tokenizer_config.json
├── vocab.json
├── merges.txt
├── model.safetensors.index.json
├── model-00001-of-00004.safetensors   # ~5.3GB
├── model-00002-of-00004.safetensors   # ~5.3GB
├── model-00003-of-00004.safetensors   # ~5.4GB
└── model-00004-of-00004.safetensors   # ~0.2GB

Note: whether MTP is active is controlled by quantization_config.mtp_num_hidden_layers in config.json (1 = enabled, 0 / missing = disabled).

How to Use

mlx-mtp (Python, recommended)

Use the inference engine and OpenAI-compatible server from junainfinity/mlx-mtp (mlx-mtp-serve).

mlx-swift-lm (Swift)

Load via VLMModelFactory in mlx-swift-lm with Qwen3.5/3.6 VL support — point it at this directory / repo directly.

Conversion Process

mlx-mtp-quantize \
  --src Qwen/Qwen3.6-27B-bf16 \
  --out Qwen3.6-27B-MXFP4-VL-MTP \
  --mode mxfp4 \
  --verify

BF16 source ~55GB → MXFP4 ~16GB. Vision tower, MTP head and SSM-sensitive tensors are excluded from quantization by the tool's skip predicates.

Important Notes

1. MTP requires a runtime that reads mtp_num_hidden_layers > 0 (e.g. mlx-mtp, or mlx-swift-lm builds with Qwen3.5 MTP support)
2. This is a VL (vision-language) build — image inputs work; make sure your loader uses the VLM model factory
3. Only applies to the Qwen3.5/3.6 architecture family
4. Thinking-mode capability is inherited from the base model

Related Links

• junainfinity/mlx-mtp — quantization & inference toolchain used here
• Qwen/Qwen3.6-27B — base model
• ml-explore/mlx-swift-lm — Swift runtime

License

Apache-2.0, same as the base model. Provided as-is, without warranty.

---

简介

这是对 Qwen/Qwen3.6-27B 的 MXFP4（4-bit）MLX 量化版本，使用 junainfinity/mlx-mtp 制作。与普通 4-bit 转换不同，本版本：

• 视觉塔保留 fp16 —— 完整保留图像理解能力（VL 多模态模型）
• 保留 MTP 头权重 —— 支持自起草投机解码（约 1.6× 加速，见 mlx-mtp 基准）
• SSM 敏感参数保留高精度（a_log、dt_bias、conv1d、ssm_*），避免混合状态退化

为什么重要

• MTP 头是额外的 transformer 层，从位置 t 的隐藏状态预测 token t+2
• 与主干端到端联合训练 —— 零质量损失
• 无需独立草稿模型（区别于 DFlash 类方案）
• 激进量化通常最先牺牲视觉能力 —— 本版本视觉保持 fp16

模型详情

量化布局

模型目录结构

Qwen3.6-27B-MXFP4-VL-MTP/
├── config.json                        # mlx_mtp 元信息 + quantization_config.mtp_num_hidden_layers: 1
├── generation_config.json
├── preprocessor_config.json           # 图像预处理配置
├── chat_template.jinja
├── tokenizer.json
├── tokenizer_config.json
├── vocab.json
├── merges.txt
├── model.safetensors.index.json
├── model-00001-of-00004.safetensors   # ~5.3GB
├── model-00002-of-00004.safetensors   # ~5.3GB
├── model-00003-of-00004.safetensors   # ~5.4GB
└── model-00004-of-00004.safetensors   # ~0.2GB

注意：MTP 是否生效由 config.json 中的 quantization_config.mtp_num_hidden_layers 控制（1 = 开启，0 或缺失 = 关闭）。

使用方法

mlx-mtp（Python，推荐）：使用 junainfinity/mlx-mtp 自带的推理引擎和 OpenAI 兼容服务（mlx-mtp-serve）。

mlx-swift-lm（Swift）：通过支持 Qwen3.5/3.6 VL 的 mlx-swift-lm 的 VLMModelFactory 直接加载本仓库/目录。

转换过程

mlx-mtp-quantize \
  --src Qwen/Qwen3.6-27B-bf16 \
  --out Qwen3.6-27B-MXFP4-VL-MTP \
  --mode mxfp4 \
  --verify

BF16 源模型约 55GB → MXFP4 约 16GB。视觉塔、MTP 头和 SSM 敏感参数由工具的 skip 规则排除在量化之外。

重要提示

1. MTP 需要运行时会读取 mtp_num_hidden_layers > 0（如 mlx-mtp，或带 Qwen3.5 MTP 支持的 mlx-swift-lm 构建）
2. 这是 VL（视觉-语言） 版本 —— 图像输入可用；请确保加载器使用 VLM 模型工厂
3. 仅适用于 Qwen3.5/3.6 架构家族
4. Thinking 思考模式能力继承自基座模型

相关链接

• junainfinity/mlx-mtp —— 本模型使用的量化与推理工具链
• Qwen/Qwen3.6-27B —— 基座模型
• ml-explore/mlx-swift-lm —— Swift 运行时

许可证

Apache-2.0，与基座模型一致。按原样提供，不作任何担保。