birefnext-aniseg-ONNX

Anime Segmentation Model (BiRefNet + DINOv3 ConvNeXt)

アニメイラストに特化した高精度な背景削除（セグメンテーション）モデルです。 強力なエンコーダーと軽量なデコーダーを組み合わせ、INT8量子化を施すことで、性能と速度を両立させました。

🚀 特徴

• ハイブリッド構成: Encoderに DINOv3 ConvNeXt Base、Decoderに BiRefNet（改変版）を採用。
• マルチデバイス対応: CPUでも快適に動作します。
• 高速推論: INT8量子化済み。
• 柔軟性: Dynamic Shapeに対応しており、入力サイズを固定せずに推論可能です。
• 自由な利用: 自由にダウンロードして推論にご利用いただけます。

🛠 技術詳細

• Encoder: DINOv3 ConvNeXt Base
• Decoder: BiRefNet (Modified)
• Dataset: skytnt/anime-segmentation
• Format: ONNX (INT8 Quantized)

💻 推論コード (Python)

以下のコードで簡単に推論を試すことができます。

import cv2
import numpy as np
import onnxruntime as ort
from PIL import Image

# 設定
MODEL_PATH = "birefnext-aniseg-int8-v0.1.onnx"
INPUT_IMAGE = "input.jpg"
OUTPUT_IMAGE = "output_mask.png"

# ImageNetの正規化パラメータ
MEAN = np.array([0.485, 0.456, 0.406], dtype=np.float32)
STD = np.array([0.229, 0.224, 0.225], dtype=np.float32)

providers = ['CUDAExecutionProvider', 'CPUExecutionProvider'] if ort.get_device() == 'GPU' else ['CPUExecutionProvider']
session = ort.InferenceSession(MODEL_PATH, providers=providers)

input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name

img = Image.open(INPUT_IMAGE).convert('RGB')
w0, h0 = img.size

# 32の倍数にリサイズ
w, h = (w0 // 32) * 32, (h0 // 32) * 32
img_resized = img.resize((w, h), Image.BILINEAR)

# 前処理
img_array = np.array(img_resized, dtype=np.float32) / 255.0
img_array = (img_array - MEAN) / STD
input_tensor = img_array.transpose(2, 0, 1)[None]

# 推論
result = session.run([output_name], {input_name: input_tensor})[0]

# 後処理
mask = result[0, 0]
mask_resized = cv2.resize(mask, (w0, h0), interpolation=cv2.INTER_LINEAR)
mask_uint8 = (np.clip(mask_resized, 0, 1) * 255).astype(np.uint8)

cv2.imwrite(OUTPUT_IMAGE, mask_uint8)
print(f"Saved: {OUTPUT_IMAGE}")