sarashina2.2-3b-instruct-ryzenai-npu

Sarashina2.2-3B-Instruct for Ryzen AI NPU (ONNX / INT4)

sbintuitions/sarashina2.2-3b-instruct-v0.1 を AMD Ryzen AI NPU (XDNA) 向けに INT4 量子化・変換したものです。 OnnxRuntime GenAI (OGA) で動きます。

AMD が配布する Ryzen AI 向け LLM には日本語特化モデルがありません。 汎用の Qwen2.5 では中国語の語彙や英単語が訳文に混ざるため、 日本語翻訳用途に耐えるモデルとして変換しました。

動作確認環境

使い方

import json
import onnxruntime_genai as og

model = og.Model("path/to/this/model")
tokenizer = og.Tokenizer(model)   # ← 失敗します。下記「注意 2」を参照

注意 1: --npu --basic で変換しています

このモデルは head_dim = 160 (hidden 2560 / 16 heads) です。 AMD が同梱するプリビルド NPU カーネル (dyn_bins.zip) は 64 / 128 しか持たないため、 --hybrid では Transaction not found: mladfmharope_..._160 で失敗します。 そのため融合 Attention を使わない --npu --basic で変換しています。

model_generate --npu --basic --input <sarashina2.2-3b-instruct-v0.1> --output <out>

融合カーネルを使わないぶん、AMD 公式の hybrid モデルより生成は遅くなります (実測: 1 文あたり中央値 2.45 秒 / Qwen2.5-3B hybrid は 1.30 秒)。

注意 2: トークナイザは OGA では読めません

Sarashina のトークナイザは sentencepiece 由来の Unigram 形式で、 vocab が配列になっています。OGA の C++ トークナイザは BPE しか読めないため、 og.Tokenizer(model) は次のエラーで失敗します。

[json.exception.type_error.302] type must be object, but is array

同梱の tokenizer.json を tokenizers (Rust) で直接読んでください。 生成器はトークン ID を直接受け取れるので、これで問題なく動きます。

from tokenizers import Tokenizer

tok = Tokenizer.from_file("path/to/this/model/tokenizer.json")
ids = tok.encode(prompt, add_special_tokens=False).ids
generator.append_tokens(ids)

チャットテンプレートは chat_template.jinja を jinja2 で描画してください。

注意 3: hybrid_opt_npu_read_ahead を切る必要があります

同梱の genai_config.json には設定済みですが、無いと次のエラーになります。

Weights not loaded in /model/layers.0/attn/c.v_proj/MatMul_Q4

{"RyzenAI": {"hybrid_opt_npu_read_ahead": "-1", ...}}

訳質の比較 (英 → 日)

同一プロンプト・同一機での実測です。

ライセンス

元モデルと同じ MIT です。 元モデルの権利は SB Intuitions にあります。 本リポジトリは量子化・形式変換のみを行ったもので、重みの学習・改変は行っていません。