Qwen1.5-0.5B-Chat-MNN

Qwen1.5-0.5B-Chat-MNN

本仓库是从 Qwen/Qwen1.5-0.5B-Chat 转换的 MNN HQQ 4-bit 推理模型。

导出日期：2026-11-09；导出版本：MNN 3.6.2；源码提交：b0239771b07b317a258fbc384683bbd540741406。

使用范围：仅限非商业研究或评估。 本模型适用 Tongyi Qianwen Research License；商业使用须另行取得 Alibaba Cloud 授权。转换为 MNN 不扩大许可范围，请先阅读 LICENSE 与 NOTICE.txt。

原始模型介绍

Qwen1.5-0.5B-Chat 是 Qwen1.5 系列的 0.5B 对话模型，属于 Qwen2 的早期版本，采用稠密、仅解码器 Transformer，经监督微调与偏好优化对齐。上游介绍多语言对话能力，也提示可能发生语言混杂；本包只进行了下文列出的本地对齐与生成检查，不能将冒烟通过视为所有对话场景的能力保证。

下载

优先使用 ModelScope，下载全部文件到同一目录：

python -m pip install -U modelscope
python -c "from modelscope import snapshot_download; snapshot_download('MNN/Qwen1.5-0.5B-Chat-MNN', local_dir='./Qwen1.5-0.5B-Chat-MNN')"
export MODEL_DIR=./Qwen1.5-0.5B-Chat-MNN

也可通过 Hugging Face 镜像下载：

export HF_ENDPOINT=https://hf-mirror.com
pip install -U huggingface_hub
hf download taobao-mnn/Qwen1.5-0.5B-Chat-MNN --local-dir ./Qwen1.5-0.5B-Chat-MNN
export MODEL_DIR=./Qwen1.5-0.5B-Chat-MNN

务必一起更新模型图、外部权重、嵌入、分词器、模板和配置，并保留许可及 NOTICE 文件。加载前清理旧模型、权重及 KV 缓存；不要混用不同修订的文件，也不要仅替换 llm.mnn。

MNN 版本与编译

本包要求 MNN 3.6.2 或更新版本及 Transformer 融合支持，旧版运行时或应用需先升级。准备 Git、CMake 和 C++ 编译工具链，在同一个工作目录执行以下命令，固定到实际导出提交：

git clone https://github.com/alibaba/MNN.git
git -C MNN checkout b0239771b07b317a258fbc384683bbd540741406
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build \
  -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON \
  -DMNN_BUILD_CONVERTER=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON \
  -DMNN_SEP_BUILD=OFF
cmake --build MNN/build --parallel 4

转换方法

在许可证允许的范围内，使用上述固定提交的导出器及其依赖清单，将原始模型下载到独立目录，并输出到全新的目录：

export HF_ENDPOINT=https://hf-mirror.com
python -m pip install -r MNN/transformers/llm/export/requirements.txt
python -c "from modelscope import snapshot_download; snapshot_download('Qwen/Qwen1.5-0.5B-Chat', local_dir='./original/Qwen1.5-0.5B-Chat')"
python MNN/transformers/llm/export/llmexport.py \
  --path ./original/Qwen1.5-0.5B-Chat \
  --export mnn --hqq --quant_bit 4 --quant_block 128 \
  --scale_bit 16 --embed_bit 16 --lm_quant_bit 4 --lm_quant_block 128 \
  --seperate_embed \
  --mnnconvert ./MNN/build/MNNConvert \
  --dst_path ./reexported/Qwen1.5-0.5B-Chat-MNN

--seperate_embed 是导出器的实际参数拼写，本包保留独立 BF16 输入嵌入。C4、QKV / gate-up 投影与归一化投影融合在该提交默认启用，无需额外开关。

完整参数见 export_args.json，来源、哈希及验证记录见 refresh_metadata.json。示例下载上游当前快照；本模型 source_revision 中的 sha256: 值是溯源哈希，不是可传给下载器的修订号。重新导出不保证字节一致，应保留整套新权重、模板和配置，禁止复制旧权重偏移。

推理与测试

使用随包配置

config.json 使用 CPU、4 线程、precision=low、memory=low，未显式覆盖采样器参数。直接使用该配置，不凭上游示例另行假定温度或采样默认值；聊天模板由随包 llm_config.json 提供。

printf 'What is 2 + 3? Reply with only the number.\n' > prompt.txt
./MNN/build/llm_demo "$MODEL_DIR/config.json" prompt.txt
./MNN/build/llm_bench -m "$MODEL_DIR/config.json" -a cpu -t 4 -p 128 -n 32

llm_bench 命令仅演示如何在自己的环境测量，参数为 128 个输入 token、32 个生成 token；本卡未发布性能测量。

已验证范围

2026-11-09 的自动检查及默认配置冒烟测试通过，验证平台仅为 x64 CPU：

• 原始模型与导出器映射的 FP32 prefill / decode 对齐通过；这不是量化输出逐 token 一致性承诺。
• 聊天模板与输入 token ID 匹配，中文问候、算术、短翻译及约 900-token 级上下文翻译通过；本模型长输入用例为 909 个 prompt token。
• 检查了自然 EOS 停止及外部权重完整性；默认采样冒烟通过，仅说明这些用例可正常生成与停止。

未验证 ARM CPU FP16、Metal、OpenCL、Vulkan 或 CUDA；本包无音频、视频验证证据。上述用例不构成全面精度或性能基准，也不证明最大可用上下文长度或与未量化模型输出完全相同。生成内容可能错误，重要结论请独立核实。

许可证与来源

模型沿用上游 Tongyi Qianwen Research License，不是 Apache 或 MIT 许可。非商业范围定义为研究或评估；商业使用须另行取得 Alibaba Cloud 授权，其他使用及再分发条件以 LICENSE 全文为准。

模型图与权重已于 2026-11-09 使用 MNN 3.6.2 重新导出并量化，修改声明与上游归属保留在 NOTICE.txt。再分发时请一并保留许可证与声明。

来源与参数：原始模型 · export_args.json · refresh_metadata.json。 工具与用法：MNN 导出器 · MNN-LLM 文档。