Qwen3-4B-Instruct-2507-MNN

Qwen3-4B-Instruct-2507-MNN

本仓库是由 Qwen/Qwen3-4B-Instruct-2507 转换的 MNN 文本推理包，输入 / 输出为文本 / 文本。

验收日期：2026-11-12；工具版本：MNN 3.6.2；源码提交：b0239771b07b317a258fbc384683bbd540741406。

验证边界：仅验证 x64 CPU；ARM CPU FP16、Metal、OpenCL、Vulkan、CUDA 及移动设备均未验证。

原始模型介绍

源配置声明架构 Qwen3ForCausalLM，model_type=qwen3，语言层数为 36。配置未声明路由专家；不根据仓库名称推断架构或参数量。本卡不转述未经本包测量的上游评测、性能或能力宣传；量化后输出仍可能出错。

下载

优先从 ModelScope 下载整包到明确目录：

export MODEL_DIR="$PWD/Qwen3-4B-Instruct-2507-MNN"
python -m pip install -U modelscope
python - <<'PY'
import os
from modelscope import snapshot_download
snapshot_download("MNN/Qwen3-4B-Instruct-2507-MNN", local_dir=os.environ['MODEL_DIR'])
PY

Hugging Face 镜像为备选，显式使用镜像端点：

export HF_ENDPOINT=https://hf-mirror.com
export MODEL_DIR="$PWD/Qwen3-4B-Instruct-2507-MNN"
python -m pip install -U huggingface_hub
hf download taobao-mnn/Qwen3-4B-Instruct-2507-MNN --local-dir "$MODEL_DIR"

图、外部权重、分词器、嵌入、模板与配置须整包配套更新。不要混用修订或只替换图文件；更新应用中自己管理的旧缓存，不删除共享缓存。

MNN 版本与编译

运行时基线为 MNN 3.6.2 与下列已验证提交，并需要 LLM、低内存与 Transformer 融合支持。更旧版本未验证，更高版本也需自行回归。准备 Git、CMake、Python 与 C++ 工具链；在新工作目录运行：

from pathlib import Path
import subprocess

MNN_DIR = Path.cwd() / 'MNN'
BUILD_DIR = MNN_DIR / 'build'
subprocess.run(['git', 'clone', 'https://github.com/alibaba/MNN.git', str(MNN_DIR)], check=True)
subprocess.run(['git', '-C', str(MNN_DIR), 'checkout', "b0239771b07b317a258fbc384683bbd540741406"], check=True)
subprocess.run(['bash', str(MNN_DIR / 'schema/generate.sh')], cwd=MNN_DIR, check=True)
subprocess.run(['cmake', '-S', str(MNN_DIR), '-B', str(BUILD_DIR),
                '-DCMAKE_BUILD_TYPE=Release', '-DMNN_BUILD_LLM=ON', '-DMNN_LOW_MEMORY=ON',
                '-DMNN_BUILD_CONVERTER=ON', '-DMNN_SUPPORT_TRANSFORMER_FUSE=ON',
                '-DMNN_SEP_BUILD=OFF'], check=True)
subprocess.run(['cmake', '--build', str(BUILD_DIR), '--parallel', '4'], check=True)

转换方法

以下示例使用当前固定提交的标准导出器；没有未经验证的自定义 FP32 加载包装。原始下载不执行远端模型代码，导出依赖见该提交的 requirements.txt。

export HF_ENDPOINT=https://hf-mirror.com
export MNN_DIR="$PWD/MNN"
export SOURCE_DIR="$PWD/original/Qwen3-4B-Instruct-2507-MNN"
export OUTPUT_DIR="$PWD/reexported/Qwen3-4B-Instruct-2507-MNN"
python -m pip install -r "$MNN_DIR/transformers/llm/export/requirements.txt"
python - <<'PY'
import os
from modelscope import snapshot_download
snapshot_download("Qwen/Qwen3-4B-Instruct-2507", local_dir=os.environ['SOURCE_DIR'])
PY
python "$MNN_DIR/transformers/llm/export/llmexport.py" \
  --path "$SOURCE_DIR" --export mnn --hqq \
  --quant_bit 4 --quant_block 64 \
  --lm_quant_bit 8 --lm_quant_block 64 \
  --scale_bit 16 --embed_bit 16 \
  --mnnconvert "$MNN_DIR/build/MNNConvert" --dst_path "$OUTPUT_DIR"

--seperate_embed 为实际参数拼写，仅在本包确实使用该选项时加入上述命令。实际输入嵌入为：共享 LM 输出头量化权重，实际位宽与尺度见 LM 行；并非独立 BF16 嵌入。完整参数见 export_args.json，实际量化布局见 refresh_metadata.json；null 参数表示未显式传入，不应理解为新的运行时默认。

示例下载上游当前快照；逐文件修订与 SHA256 是溯源信息，不能将 sha256: 指纹当作下载 revision。跨依赖版本重导出不保证字节一致；使用全新输出目录并重新验收，不复用旧权重偏移或随意更换模板。

推理与测试

随包默认配置

config.json 与 llm_config.json 的显式有效运行项为 {"backend_type": "cpu", "memory": "low", "min_p": 0, "mixed_samplers": ["penalty", "topK", "topP", "min_p", "temperature"], "precision": "low", "repetition_penalty": 1.05, "sampler_type": "mixed", "temperature": 0.7, "thread_num": 4, "top_k": 20, "top_p": 0.8}。未声明采样参数采用该提交的运行时默认，不猜测 temperature、采样器或惩罚。默认 Jinja context 为 null；reasoning 分类为 none，不擅自关闭强制思考。

默认生成上限为 512 token（该提交运行时未显式覆盖时的默认值）。保持随包配置不变：

export MNN_DIR="$PWD/MNN"
export MODEL_DIR="$PWD/Qwen3-4B-Instruct-2507-MNN"
python - <<'PY'
from pathlib import Path
Path('prompt.txt').write_text('What is 2 + 3? Reply with only the number.\n', encoding='utf-8')
PY
"$MNN_DIR/build/llm_demo" "$MODEL_DIR/config.json" "$PWD/prompt.txt"

分离的验证结论

• FP32 映射对齐：源实现与 exporter 的 prefill / decode、embedding、代表层、norm、logits 对齐通过；范围为完整 36 层，不代表量化输出逐 token 一致。
• 确定性验证：x64 CPU、greedy、precision=high、8 线程、use_mmap=false；生成预算 1024，测试 Jinja context={"enable_thinking": false}。预定义用例 greeting, arithmetic, translation, long_translation 恰好各覆盖一次；模板与输入 token 一致、自然停止、无替换字符及异常重复。这些预定义期望通过，不构成全面准确率基准。
• 真实默认 smoke：保持默认采样、精度与思考上下文，requested_max_tokens=-1，由运行时决定 512 token 上限；全部预定义用例结构检查通过且未超限。测试仅隔离 base_dir/tmp_path/use_mmap；mmap 模式为 [false]。默认输出的期望检查仅供参考，不是准确率通过结论。
• 输入长度：实际 prompt token 范围 15–871；长输入用例 token 数为 {"long_translation": 871}。这是这些用例的长度，不是最大上下文验证。

未发布性能测速或设备内存数字；无 GPU、手机 FP16、视觉、音频或视频验证结论。原始日志及完整报告仅保存在本地，公开元数据提供文件哈希、配置、检查摘要与明确限制。

许可证与来源

沿用实际上游许可 apache-2.0（元数据标识 apache-2.0），原许可链接：apache-2.0。随包原文保持不变：LICENSE。请逐项履行原许可、署名与使用政策义务。量化转换不扩大授权；模型权利归上游，MNN 工具的许可不替代模型许可。

来源与可复核信息：原始模型 · 导出参数 · 验证元数据。 工具：固定提交的 MNN 导出器 · MNN-LLM 文档。