manga-translator-ui-onnx

manga-translator-ui-onnx

ONNX 格式的漫画翻译模型集合，从 manga-translator-ui 和 manga-image-translator 的 PyTorch 权重转换而来。

模型列表

Detection（文字检测）

OCR（文字识别）

字典文件

快速使用

Detection

import onnxruntime as ort
import numpy as np

session = ort.InferenceSession("detect-20241225.onnx", providers=["CPUExecutionProvider"])
input_data = np.random.randn(1, 3, 1536, 1536).astype(np.float32)  # [-1, 1]
db_map, mask = session.run(None, {"input": input_data})

OCR (48px_ctc)

import onnxruntime as ort
import numpy as np

session = ort.InferenceSession("ocr-48px-ctc.onnx", providers=["CPUExecutionProvider"])

# 输入: 48px 高的文字行图片 (batch, 3, 48, width)
img = np.random.randn(1, 3, 48, 256).astype(np.float32)
logits = session.run(None, {"img": img})[0]  # (1, seq_len, 19264)

# CTC greedy decode
with open("alphabet-all-v5.txt") as f:
    dictionary = [line.rstrip('\n') for line in f]

pred = np.argmax(logits[0], axis=1)  # (seq_len,)
result = []
blank = 0
last = blank
for p in pred:
    if p != blank and p != last:
        result.append(dictionary[p])
    last = p
text = ''.join(result)

OCR (48px_encoder)

session = ort.InferenceSession("ocr-48px-encoder.onnx", providers=["CPUExecutionProvider"])
img = np.random.randn(1, 3, 48, 256).astype(np.float32)
memory = session.run(None, {"img": img})[0]  # (1, seq_len, 320)
# memory 供 decoder 做自回归解码使用

模型来源

转换脚本

• convert_detect_to_onnx.py — 将 detect-20241225.ckpt 转为 ONNX
• convert_ocr_to_onnx_v6.py — 将 ocr_ar_48px.ckpt 和 ocr-ctc.ckpt 转为 ONNX
• fix_48px_ctc.py — 修复 48px_ctc 的 wrapper，确保精度

完整文档

• detect-20241225-onnx-usage.md — Detection 模型完整使用文档
• ocr-usage.md — OCR 模型完整使用文档（含预处理、解码、批量推理）

许可证

原始权重来自 manga-image-translator（GPL-3.0），本仓库继承 GPL-3.0 许可证。