MA

自動読点挿入 AI (MA) - v2 (ONNX / Transformers.js)

このモデルは、日本語の文章に対して適切な位置に自動で「読点（、）」を挿入するための軽量な自然言語処理モデルです。 ブラウザ上で高速に動作する Transformers.js (ONNX Runtime Web) 向けに最適化されています。

モデルの概要

• Architecture: DeBERTa-v2 (Tiny 相当)
• Task: Token Classification (B-COMMA の予測)
• Parameters: 約2280万パラメータ
• Model Size: 約 23.3 MB (ONNX形式)
• Language: 日本語
• Performance (v2): F1: 0.7481 / Precision: 0.8145 / Recall: 0.6953

使い方 (Transformers.js)

WebサイトやJavaScript/TypeScriptのアプリケーションに直接組み込むことができます。 【重要】 WebAssembly環境特有の精度低下を補正するため、標準の pipeline は使用せず、生の出力値（Logits）から確率を算出して閾値調整を行う実装を強く推奨します。

import { AutoTokenizer, AutoModelForTokenClassification } from '@xenova/transformers';

// モデルのロード
const tokenizer = await AutoTokenizer.from_pretrained('m4sak1/MA');
const model = await AutoModelForTokenClassification.from_pretrained('m4sak1/MA', {
    quantized: false
});

// 推論
const text = "明日は雨が降るそうなので傘を持っていこうと思います";
const inputs = await tokenizer(text);
const outputs = await model(inputs);

const logits = outputs.logits.data;
const seqLen = outputs.logits.dims[1];

let predictedStr = '';
const chars = Array.from(text);
const PROB_THRESHOLD = 0.37; // WASM用の調整閾値（数値を下げるとAIが敏感になります）

for (let i = 0; i < seqLen; i++) {
  const l0 = logits[i * 2];
  const l1 = logits[i * 2 + 1];
  
  // Softmaxで確率を計算
  const max = Math.max(l0, l1);
  const e0 = Math.exp(l0 - max);
  const e1 = Math.exp(l1 - max);
  const prob1 = e1 / (e0 + e1);
  
  if (i > 0 && i <= chars.length) {
    predictedStr += chars[i - 1];
    if (prob1 > PROB_THRESHOLD) predictedStr += '、';
  }
}

console.log(predictedStr);
// 予想出力: "明日は、雨が降るそうなので、傘を持っていこうと、思います"

学習データ

Wikipediaの日本語ダンプデータを使用し、自然な読点の位置を学習しています。 v2アップデートにおいて、約240万文（Phase 2）の大規模コーパスへとデータセットを拡張しファインチューニングを行いました。

• 出典: Wikipedia 日本語版 (CC BY-SA 3.0/4.0)
• 著作権法第30条の4（情報解析のための複製等）に基づき学習

制限事項・注意点

• コンテキスト長: 学習時の最大シーケンス長は512トークン（約500文字）です。長文を処理する場合は、アプリケーション側で文単位（句点など）でチャンク分割して処理することを推奨します。
• 精度: 完璧な日本語文法を保証するものではありません。あくまで「人間が自然に息継ぎをする、または意味の切れ目となる場所」を確率的に予測します。

ライセンス

Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)

---

詳しくはこちら → https://ai.m4sak1.me/MA