qwen3.5vl-4b-Q5-Q4

Qwen3.5-4B Q4_0 + SSM Q4_1 GGUF

这是用于 Qualcomm ARM64/HTP GenieX 实验的 Qwen3.5-4B GGUF 制品。基础模型来自 Qwen/Qwen3.5-4B，GGUF 与量化元数据参考来自 unsloth/Qwen3.5-4B-GGUF。

仓库地址：https://huggingface.co/tpgz/qwen3.5vl-4b-q5-q4

1. 文件目录与制品边界

本仓库不包含：

• 8.4 GB BF16 维护源；
• Qualcomm QAIRT/QNN 库和驱动；
• 修改后的 ARM64 GenieX 二进制；
• RROS 完整源码。

其中 QAIRT/QNN 与板端二进制可能受再分发许可和硬件 ABI 约束，不应和模型权重一起公开上传。

2. 从零获取并部署模型

2.1 下载并校验

先安装 Hugging Face CLI：

python3 -m pip install -U huggingface_hub

下载整个仓库：

hf download tpgz/qwen3.5vl-4b-q5-q4 \
  --local-dir ./qwen35-q4_0-ssm-q4_1
cd ./qwen35-q4_0-ssm-q4_1
sha256sum -c SHA256SUMS

只下载板端运行必需的主模型和 VLM 投影：

hf download tpgz/qwen3.5vl-4b-q5-q4 \
  Qwen3.5-4B-Q4_0-SSM-Q4_1-BF16-source-recipe-v2.gguf \
  mmproj-F16.gguf \
  --local-dir ./qwen35-q4_0-ssm-q4_1

也可以在 Python 中下载：

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="tpgz/qwen3.5vl-4b-q5-q4",
    local_dir="./qwen35-q4_0-ssm-q4_1",
)

2.2 放入现有 GenieX 目录

以下示例保持当前 GenieX 注册名：

unsloth/Qwen3.5-4B-GGUF:Q4_0
unsloth/Qwen3.5-4B-GGUF-VLM:Q4_0

假设下载目录为 /data/local/tmp/downloaded-model，GenieX 主目录为 /data/local/tmp/geniex：

MODEL_ROOT=/data/local/tmp/geniex/models/unsloth
DOWNLOAD=/data/local/tmp/downloaded-model

mkdir -p "$MODEL_ROOT/Qwen3.5-4B-GGUF"
mkdir -p "$MODEL_ROOT/Qwen3.5-4B-GGUF-VLM"

cp "$DOWNLOAD/Qwen3.5-4B-Q4_0-SSM-Q4_1-BF16-source-recipe-v2.gguf" \
  "$MODEL_ROOT/Qwen3.5-4B-GGUF/Qwen3.5-4B-Q4_0.gguf"
cp "$DOWNLOAD/mmproj-F16.gguf" \
  "$MODEL_ROOT/Qwen3.5-4B-GGUF-VLM/mmproj-F16.gguf"
cp "$DOWNLOAD/geniex/Qwen3.5-4B-GGUF/geniex.json" \
  "$MODEL_ROOT/Qwen3.5-4B-GGUF/geniex.json"
cp "$DOWNLOAD/geniex/Qwen3.5-4B-GGUF-VLM/geniex.json" \
  "$MODEL_ROOT/Qwen3.5-4B-GGUF-VLM/geniex.json"

ln -sfn ../Qwen3.5-4B-GGUF/Qwen3.5-4B-Q4_0.gguf \
  "$MODEL_ROOT/Qwen3.5-4B-GGUF-VLM/Qwen3.5-4B-Q4_0.gguf"

符号链接只是为了让 LLM 与 VLM 共用同一份 2.57 GB 主模型，避免重复占用存储；也可以把主模型再复制一份到 VLM 目录，但不是必须。

3. 怎样判断模型复现成功

3.1 文件完整性

正式主模型 SHA-256：

f6c755ee8bb30c0b7844dfcdcc1af3d7f9d2692099c7dba040b4003eb41a05ea

VLM 投影 SHA-256：

cd88edcf8d031894960bb0c9c5b9b7e1fea6ebee02b9f7ce925a00d12891f864

下载后必须执行：

sha256sum -c SHA256SUMS

主模型 SHA 不一致时，不应继续部署或比较性能。

3.2 已验证的运行结果

在本项目使用的 Qualcomm Kalama ARM64 板、配套 QAIRT/QNN 环境和修改版 GenieX llama_cpp 插件上：

• 24 个 ssm_out.weight 全部为 Q4_1；
• Q5_K 张量数量为 0；
• 调度图由 51 段降为 CPU -> HTP0 -> CPU 3 段；
• decoder 单独探针从 4.1162 token/s 提升到 8.2736 token/s；
• reviewed-v1 全量运行的 decoder 平均值为 8.1360 token/s；
• 固定 Planner system prompt 可 warmup，并完整命中 2147 个前缀 token。

这些速度依赖指定硬件、模型配置、修改版 GenieX、QAIRT/QNN 版本和运行参数。只下载 GGUF 并不能保证其他设备也达到同样速度。

4. 完整项目由哪三部分组成

要复现板端约 8 token/s 的 Planner，不能只下载这一个 GGUF。完整项目分为三类制品：

1. Hugging Face 模型仓库（本仓库）
   • 正式 Q4_0＋SSM-Q4_1 GGUF；
   • VLM mmproj-F16.gguf；
   • imatrix、张量类型规则和量化脚本；
   • GenieX 模型注册配置模板。
2. 源码 Git 仓库
   • 相对官方 GenieX v0.3.14 的三段 patch；
   • 13 个修改文件的最终快照和逐文件说明；
   • RROS compact Semantic IR、PlanSpec、Compile IR、能力映射、测试和评估脚本。
3. 内部板端运行包
   • ARM64 geniex、libgeniex.so 和修改版 llama_cpp 插件；
   • 与目标板 ABI 匹配的 QAIRT/QNN 运行环境；
   • /data/local/tmp/geniex 启动脚本和运行配置。

模型仓库是公开制品层；源码应放 GitLab；受 Qualcomm 许可约束的板端运行件应放内部 Package Registry。

5. 这版模型改了什么

原 Q4_0 GGUF 中 24 个 ssm_out.weight 为 Q5_K，在当前 Qualcomm HTP 后端不能执行，会回退 CPU。当前正式制品从 BF16 源重新量化，将 24 个 ssm_out.weight 制作为 Q4_1，并保留其他张量的目标量化分配。

最终张量分布：

F32: 177
Q4_0: 172
Q4_1: 28
Q6_K: 1
Q8_0: 48
Q5_K: 0

28 个 Q4_1 张量包括：

• 24 个 ssm_out.weight；
• 4 个 blk.0 至 blk.3 的 ffn_down.weight。

这不是把已有 Q5_K 模型再次量化；正式文件由 BF16 源模型按 quantization/ 中的配方重新生成。

6. 相对官方 GenieX 修改了什么

源码基线为 Qualcomm GenieX v0.3.14，基线提交 3e80f9c8817aa059fdfdaf3d0b569c7cac2af8b9，修改后提交为 9b4c1da2a7cf5c758d53e2495e3fc9e46431efaa。

修改限定在官方 GenieX 树内 13 个文件：

sdk/include/geniex.h
sdk/include/plugin/IVlm.h
sdk/include/profile.h
sdk/src/vlm.cpp
bindings/go/common.go
bindings/go/vlm.go
cli/cmd/geniex/infer.go
cli/server/handler/chat.go
cli/server/handler/package_test.go
sdk/plugins/llama_cpp/include/profiler.h
sdk/plugins/llama_cpp/include/vlm.h
sdk/plugins/llama_cpp/src/profiler.cpp
sdk/plugins/llama_cpp/src/vlm.cpp

修改原因分为三层：

• SDK 层增加独立 V2 ABI，旧 C 结构和旧插件 vtable 不变；
• Go/HTTP 层只允许纯文本 Planner 使用 system-only warmup 和缓存；
• llama_cpp 插件层精确计算前缀边界，并保存/恢复 Attention 与 recurrent/SSM 完整状态。

没有修改第三方 ggml Q4_1 算子、QAIRT、QNN 驱动或 HTP 固件。Q5_K 到 Q4_1 是 GGUF 制作配方，与固定前缀源码 patch 是两项独立改造。

源码仓库中的总 README 应作为完整复现入口；本模型卡主要说明模型制品的获取、校验和板端放置方式。

7. 量化复现边界

quantization/ 提供 imatrix、tensor type 规则和制作脚本，但没有上传 BF16 源和原始 Q4_0 元数据参考。重新制作还需要：

• Qwen3.5-4B-BF16.gguf；
• 原始 Q4_0 元数据参考；
• gguf==0.18.0；
• 匹配版本的 llama-quantize。

普通部署者不需要这些维护输入，直接下载正式主模型和 mmproj-F16.gguf 即可。

8. 许可证与归属

基础模型和上游 GGUF 标记为 Apache-2.0。本仓库只分发模型制品与本项目编写的量化配方；使用者仍应遵守基础模型、上游工具和所在地区的适用条款。