Qwen2.5-0.5B-Instruct-MNN

Qwen2.5-0.5B-Instruct-MNN

本仓库是从 Qwen/Qwen2.5-0.5B-Instruct 转换的 MNN HQQ 4-bit 推理模型。

导出日期：2026-11-09；导出版本：MNN 3.6.2；源码提交：b0239771b07b317a258fbc384683bbd540741406。

原始模型介绍

Qwen2.5-0.5B-Instruct 是 Qwen2.5 系列的轻量指令微调语言模型，采用稠密、仅解码器 Transformer，面向文本对话与指令响应。这里提供的是其 MNN 量化推理包；上游模型的通用能力介绍不代表本包已完成全面任务评测，本次本地验证范围见“推理与测试”。

下载

优先使用 ModelScope，下载全部文件到同一目录：

python -m pip install -U modelscope
python -c "from modelscope import snapshot_download; snapshot_download('MNN/Qwen2.5-0.5B-Instruct-MNN', local_dir='./Qwen2.5-0.5B-Instruct-MNN')"
export MODEL_DIR=./Qwen2.5-0.5B-Instruct-MNN

也可通过 Hugging Face 镜像下载：

export HF_ENDPOINT=https://hf-mirror.com
pip install -U huggingface_hub
hf download taobao-mnn/Qwen2.5-0.5B-Instruct-MNN --local-dir ./Qwen2.5-0.5B-Instruct-MNN
export MODEL_DIR=./Qwen2.5-0.5B-Instruct-MNN

务必一起更新模型图、外部权重、嵌入、分词器、模板和配置。加载前清理旧模型、权重及 KV 缓存；不要混用不同修订的文件，也不要仅替换 llm.mnn。

MNN 版本与编译

本包要求 MNN 3.6.2 或更新版本及 Transformer 融合支持，旧版运行时或应用需先升级。下面固定到实际导出提交；请准备 Git、CMake 和 C++ 编译工具链，在同一个工作目录执行：

git clone https://github.com/alibaba/MNN.git
git -C MNN checkout b0239771b07b317a258fbc384683bbd540741406
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build \
  -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON \
  -DMNN_BUILD_CONVERTER=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON \
  -DMNN_SEP_BUILD=OFF
cmake --build MNN/build --parallel 4

转换方法

如需自行转换，使用上述固定提交的导出器及其依赖清单，将原始模型下载到独立目录，并输出到全新的目录：

export HF_ENDPOINT=https://hf-mirror.com
python -m pip install -r MNN/transformers/llm/export/requirements.txt
python -c "from modelscope import snapshot_download; snapshot_download('Qwen/Qwen2.5-0.5B-Instruct', local_dir='./original/Qwen2.5-0.5B-Instruct')"
python MNN/transformers/llm/export/llmexport.py \
  --path ./original/Qwen2.5-0.5B-Instruct \
  --export mnn --hqq --quant_bit 4 --quant_block 128 \
  --scale_bit 16 --embed_bit 16 --lm_quant_bit 4 --lm_quant_block 128 \
  --seperate_embed \
  --mnnconvert ./MNN/build/MNNConvert \
  --dst_path ./reexported/Qwen2.5-0.5B-Instruct-MNN

--seperate_embed 是导出器的实际参数拼写，本包保留独立 BF16 输入嵌入。C4、QKV / gate-up 投影与归一化投影融合在该提交默认启用，无需额外开关。

完整参数见 export_args.json，来源、哈希及验证记录见 refresh_metadata.json。示例下载上游当前快照；元数据中的来源提交或 sha256: 溯源值不能直接当作 ModelScope 下载修订号。重新导出不保证字节一致，应保留整套新权重、模板和配置，禁止复制旧权重偏移。

推理与测试

使用随包配置

config.json 使用 CPU、4 线程、precision=low、memory=low，未显式覆盖采样器参数。直接使用该配置，不凭上游示例另行假定温度或采样默认值；聊天模板由随包 llm_config.json 提供。

printf 'What is 2 + 3? Reply with only the number.\n' > prompt.txt
./MNN/build/llm_demo "$MODEL_DIR/config.json" prompt.txt
./MNN/build/llm_bench -m "$MODEL_DIR/config.json" -a cpu -t 4 -p 128 -n 32

llm_bench 命令仅演示如何在自己的环境测量，参数为 128 个输入 token、32 个生成 token；本卡未发布性能测量。

已验证范围

2026-11-09 的自动检查及默认配置冒烟测试通过，验证平台仅为 x64 CPU：

• 原始模型与导出器映射的 FP32 prefill / decode 对齐通过；这不是量化输出逐 token 一致性承诺。
• 聊天模板与输入 token ID 匹配，中文问候、算术、短翻译及约 900-token 级上下文翻译通过；本模型长输入用例为 919 个 prompt token。
• 检查了自然 EOS 停止及外部权重完整性；默认采样冒烟通过，仅说明这些用例可正常生成与停止。

未验证 ARM CPU FP16、Metal、OpenCL、Vulkan 或 CUDA；本包无音频、视频验证证据。上述用例不构成全面精度或性能基准，也不证明最大可用上下文长度或与未量化模型输出完全相同。生成内容可能错误，重要结论请独立核实。

许可证与来源

模型沿用上游 Apache License 2.0，全文见 LICENSE。量化转换不改变上游权利归属与许可证义务。

来源与参数：原始模型 · export_args.json · refresh_metadata.json。 工具与用法：MNN 导出器 · MNN-LLM 文档。