ruri-v3-30m-onnx-web

ruri-v3-30m-onnx-web

cl-nagoya/ruri-v3-30m を、ブラウザで動かすために ONNX（半精度）へ変換したものです。Transformers.js から読めます。

なぜ変換版を別に置くのか

利用者のブラウザに配って実行させるものなので、素性の分からない再アップロードに頼りたくありません。 本家の重みから自分で変換し、変換前と同じ答えが出ることを数値で確かめてから置いています。

変換の途中で 2 つ引っかかりました。どちらも変換スクリプトに対処が入っています。

• 半精度化がモデル内の型変換（Cast）とぶつかって読み込めない → 型変換だけ対象から外す
• 8 ビットまで落とすと検索順位が実際に変わる（1 位一致 5/6、上位 10 の重なり 0.59）→ 不採用

使い方

import { AutoTokenizer, AutoModel, env } from '@huggingface/transformers'

const tok = await AutoTokenizer.from_pretrained('nakamura196/ruri-v3-30m-onnx-web')
const net = await AutoModel.from_pretrained('nakamura196/ruri-v3-30m-onnx-web', { dtype: 'fp16' })

接頭辞を必ず付けてください

ruri 系にはモデルごとの作法があり、守らないと精度が落ちるだけでエラーは出ません。

埋め込みの作り方

充填した位置を除いて平均し（mean pooling）、長さ 1 に揃えます（L2 正規化）。 資料側を作ったパイプラインと同じ手順でなければ、近さの計算そのものが成り立ちません。

実際に使っている例

UBC 図書館所蔵の和古書 33 点・1,418 面（くずし字 OCR の翻刻つき）を、 意味で引けるようにするために使っています。語が一致しなくても内容の近い箇所に届きます。

ライセンス

本家に従い Apache-2.0。