hunyuan_ocr_ncnn_fp16

HunyuanOCR-ncnn —— fp16 模型

本目录是 HunyuanOCR 的 全 fp16（半精度） ncnn 推理模型，由官方模型经 export_onnx.py --fp16 导出 ONNX 后转换得到。

体积

总体积约 2.2 GB（相对 fp32 的 5.9 GB 缩减约 63%）。

精度说明

• 全模型权重以 fp16 存储；CPU 推理时 vision_encoder / embed / lm_head / projector 实际按 fp16 计算，LLM decoder 因内部结构（静态序列长度 512、无真正 KV cache） 在 CPU 上仍走 fp32 计算路径。
• 实测输出与 fp32 模型逐字节一致（英文 En.png、中文 qikai.png 均已验证）。
• 适合对精度要求高、显存/磁盘敏感但又不希望引入 int8 校准风险的场景。

文件清单

配置与词表

视觉编码器（Vision Encoder）

LLM 解码器

运行方式

./build-cpu/hunyuan_ocr.exe \
  --model assets/hunyuan_ocr_ncnn_fp16 \
  --image source/En.png \
  --prompt "请识别图片中的文字内容" \
  --quant fp16 \
  --threads 8 \
  --max-tokens 4096

• --quant fp16：运行时开启 fp16 计算路径（见 src/quant_opt.h）。
• GPU（Vulkan）推理：追加 --use-vulkan 1（此时仅 fp16 路径生效，int8 无效）。

与 int8 模型的关系

• 本目录是 int8 混合方案的精度基准：int8 模型（hunyuan_ocr_ncnn_int8）仅把 embed / lm_head 转为 int8，其余（含 vision_encoder、decoder、projector） 直接复用本目录的文件，因此输出与本目录逐字节一致。
• 若你的设备对体积更敏感且能接受 int8 的轻微风险，见 ../hunyuan_ocr_ncnn_int8/README.md。