PaddleOCR-VL-1.6-OpenVINO-INT4

PaddleOCR-VL-1.6 OpenVINO INT4

这个仓库保存 PaddleOCR-VL-1.6 的本地 OpenVINO 转换版本，可用于离线文档 OCR、版面解析、表格/公式/图表等文档理解任务。

文件内容

默认推荐的快速路径使用：

• llm_stateful_int4.xml/bin
• vision_int8.xml/bin
• llm_embd.xml/bin
• vision_mlp.xml/bin
• tokenizer 和配置文件

仓库里也保留了非 INT4 的 llm_stateful.* 和非 INT8 的 vision.*，用于兼容性和效果对比实验。

推荐运行环境

在 Intel Core Ultra / Intel Arc iGPU 上推荐使用 OpenVINO 2026.2.1。

运行前建议设置：

$env:PADDLEOCR_VL_GPU_KV_CACHE_PRECISION="f16"

推荐推理配置：

vlm_device=GPU
layout_device=CPU
llm_int4_compress=True
vision_int8_quant=True
vlm_batch_size=32
max_new_tokens=64

PADDLEOCR_VL_GPU_KV_CACHE_PRECISION=f16 很关键。实测中，默认压缩 GPU KV-cache 路径在 Intel Arc iGPU 上会不稳定；改为 f16 后，VLM GPU 推理可以稳定运行。

实测速度

测试机器：

• Intel Core Ultra 7 155H
• Intel Arc iGPU
• 32GB 内存
• OpenVINO 2026.2.1

测试样本是一页包含 31 个版面块的中文报纸页面：

GPU + KV f16，vlm_batch_size=32，max_new_tokens=64：约 15 秒/页
同模型 CPU 基线：约 37 到 42 秒/页

NPU 目前未能成功编译 VLM，原因是模型仍包含动态 KV-cache state shape。

配套代码

运行代码和本地 Codex skill 已发布到 GitHub：

https://github.com/sublatesublate-design/paddleocr-vl-1-6-openvino-local