gemma3-270m-japanese-webllm-04

Gemma3-270M Japanese Fine-tuned WebLLM Model (256-12)

📖 モデル概要

このモデルは、Google DeepMindのGemma 3 270Mを日本語データでファインチューニングし、WebLLM形式に変換したものです。

• ベースモデル: google/gemma-3-270m-base
• ファインチューニング: Unslothを使用
• 量子化: Q4F32_1 (4-bit quantization)
• 変換形式: MLC-LLM WebLLM format
• 最適化: ブラウザでの実行に最適化

🎯 特徴

• 軽量: 約160MBの量子化モデル
• 高速: ブラウザ上でリアルタイム推論
• 日本語対応: 日本語会話に特化してファインチューニング
• WebGPU対応: WebGPU APIを使用した高速実行

📊 モデルアーキテクチャ

- Hidden Size: 640
- Intermediate Size: 2048
- Layers: 18
- Attention Heads: 4 (KV heads: 1)
- Head Dimension: 256
- Context Window: 8192 tokens
- Sliding Window: 512 tokens (6層ごとにfull attention)
- Vocabulary Size: 262,144 tokens

🚀 使用方法

WebLLMでの使用

import * as webllm from "@mlc-ai/web-llm";

const appConfig = {
  model_list: [
    {
      model: "https://huggingface.co/UMASHIKA/gemma3-270m-japanese-webllm-04",
      model_id: "gemma3-270m-finetuned-256-12-q4f32_1-MLC",
      model_lib: "https://huggingface.co/UMASHIKA/gemma3-270m-japanese-webllm-04/resolve/main/gemma3-270m-japanese-q4f32_1-ctx4k-webgpu.wasm"
    }
  ]
};

const engine = await webllm.CreateMLCEngine(
  "gemma3-270m-finetuned-256-12-q4f32_1-MLC",
  { appConfig }
);

const response = await engine.chat.completions.create({
  messages: [{ role: "user", content: "こんにちは！" }]
});

📦 ファイル構成

├── added_tokens.json                 # トークナイザーの追加トークン
├── mlc-chat-config.json             # MLC-LLMの設定ファイル
├── params_shard_0.bin               # モデルウェイト (shard 0)
├── params_shard_1.bin               # モデルウェイト (shard 1)
├── params_shard_2.bin               # モデルウェイト (shard 2)
├── params_shard_3.bin               # モデルウェイト (shard 3)
├── tensor-cache.json                # テンソルキャッシュ情報
├── tensor-cache-b16.json            # BF16テンソルキャッシュ情報
├── tokenizer.json                   # トークナイザー設定
├── tokenizer.model                  # SentencePieceモデル
├── tokenizer_config.json            # トークナイザー設定
└── gemma3-270m-japanese-q4f32_1-ctx4k-webgpu.wasm  # WebGPUランタイム

🔧 技術詳細

量子化方式

• Q4F32_1: 4-bit量子化（重みのみ）
• Bits per parameter: 5.006
• モデルサイズ: 約156MB (量子化後)
• 総パラメータ数: 268,098,176

会話テンプレート

<start_of_turn>user
{ユーザーメッセージ}<end_of_turn>
<start_of_turn>model
{アシスタントメッセージ}<end_of_turn>

スライディングウィンドウ

• 18層のうち、3層（6層ごと）がfull attention
• 残り15層はsliding attention (512トークンウィンドウ)
• 長文の効率的な処理が可能

🎓 ファインチューニング情報

トレーニング設定

• ファインチューニングフレームワーク: Unsloth 2026.1.4
• データ形式: 日本語会話データセット (JSONL)
• 最適化: LoRA (Low-Rank Adaptation)
• トークン数: 256 (max_seq_length)
• エポック数: 12

ベースモデルからの変更点

• 日本語会話に特化した語彙の最適化
• 会話コンテキストの理解向上
• 応答の自然さと流暢さの改善

⚡ パフォーマンス

推論速度

• 初回ロード: ~2-3秒 (WebGPU)
• トークン生成: ~50-100 tokens/sec (環境依存)
• メモリ使用量: ~300-500MB

推奨環境

• ブラウザ: Chrome 113+, Edge 113+ (WebGPU対応)
• RAM: 4GB以上推奨
• GPU: WebGPU対応GPU推奨

📝 ライセンス

このモデルはGemma Terms of Useに従います。

🙏 謝辞

• Google DeepMind: ベースモデルの提供
• MLC-AI: WebLLM変換ツールの提供
• Unsloth: 高速ファインチューニングフレームワークの提供

📧 連絡先

質問や問題があれば、Issuesでお知らせください。

---

作成日: 2026年2月16日
バージョン: 0.1.0
モデル名: gemma3-270m-finetuned-256-12