japanese-300m-base-onnx

mlab-LLM 300M Base - ONNX

日本語コーパスからscratchで事前学習したDense 299Mモデルの、ブラウザ推論向けONNX量子化版です。 文章補完用のBaseモデルであり、Instruction SFTやMoE化は行っていません。 通常のPython / Transformersで使う非量子化BF16重みは mlab-LLM 300M Baseを参照してください。

Model Overview

TokenizerはSentencePiece Unigramです。nmt_nfkcで文字の表記ゆれを正規化し、 語彙にない文字はbyte fallbackでUTF-8のバイト列として扱います。 これは文字の意味を理解できる保証ではなく、正規化前の表記を完全に保存する仕組みでもありません。

Quantization

開発時のWebGPU環境ではQ4F16で反復などの不安定な出力が見られ、Q4への変更で改善したため、 まずq4を使用してください。 原因の切り分けやGPU・driver別の網羅的な検証は行っていません。 Q4がすべての環境で動作することや、BF16と同じ出力になることは保証しません。 ファイルサイズは実行時のGPUメモリ使用量ではありません。

Quickstart

既存のブラウザ実装では@huggingface/[email protected]を使用しています。 以下はWebGPU対応ブラウザのmodule script向けの例です。

import { pipeline } from "https://cdn.jsdelivr.net/npm/@huggingface/[email protected]";

if (!navigator.gpu) {
  throw new Error("WebGPU is unavailable in this browser environment.");
}

const generator = await pipeline(
  "text-generation",
  "hmwri/japanese-300m-base-onnx",
  {
    device: "webgpu",
    dtype: "q4",
    revision: "b93f697345bbe1cd33cf220d5013dade7dc232be",
    progress_callback: (event) => console.log(event),
  },
);

const result = await generator("人工知能とは、", {
  max_new_tokens: 96,
  do_sample: false,
});
console.log(result);

HTTPSまたはlocalhostで使用してください。実際の動作はブラウザ、GPU、driverに依存します。 入力は会話メッセージではなく、続きを生成したい文章です。chat templateは使用しません。 上記はAPIの利用例であり、回答品質を示す生成例ではありません。

初回はモデル取得と推論セッションの初期化が必要です。ダウンロード完了後も初期化に時間がかかる場合があります。 ブラウザ側のキャッシュが利用できれば再取得を減らせますが、初期化の省略や高速起動を保証するものではありません。 設定上は4,096 tokensですが、最初は短い入力・生成長で動作確認してください。

Training

元のDenseはFineWeb2 Edu Japaneseの sample_10BTで事前学習しました。162,378 steps、65,536 tokens/step、 計10,641,604,608処理tokensです。ONNX化・量子化は推論形式の変換であり、新たなSFTではありません。 学習設定とDenseの構造はBF16版モデルカードに記載しています。

Evaluation

このONNX版について、標準ベンチマークのスコア、BF16との差分精度、GPU別の速度・メモリ比較は報告していません。 元モデルの学習中validation lossを、量子化後モデルの評価値として流用することはできません。 Q4/Q4F16に関する上記の記述は開発時の動作観察であり、定量的な品質評価ではありません。

Limitations

• 反復、不自然な文章、誤情報、不適切な内容を生成する可能性があります。
• 指示追従、事実性、安全性は保証しません。汎用チャットや重要な判断のためのモデルではありません。
• 量子化と実行環境によって、非量子化版から品質や出力が変化する場合があります。
• ブラウザでの推論は端末上で実行しますが、このカードはモデルを組み込む各Webアプリの通信・保存方針を保証しません。

Model Family

• BF16 Base: Python / Transformers向け。追加学習の出発点にはこちらを使用してください。
• MoE SFT: DenseのSFTを経てMoE化・追加学習した別モデル。

License

モデルの利用ライセンスは未指定です。公開ダウンロード可能であることは、無制限の再利用や商用利用の許諾を意味しません。 元データにはそれぞれの利用条件があります。包括的な権利確認を済ませたという主張はしていません。

Contact

不具合はCommunityへ報告してください。 ブラウザ・GPU・driver・Transformers.jsのバージョン、dtype、生成設定を添えると再現に役立ちます。 機密情報や個人情報は投稿しないでください。