gemma-4-E4B-it-onw

gemma-4-E4B-it for onw — Intel NPU だけで動く（テキスト＋画像）

日本語 | English

google/gemma-4-E4B-it を onw（俺のNPUがこんなに動くわけない）用に変換したモデルです。onw は LLM を Intel NPU だけで動かすエンジンで、このリポジトリにはモデルだけが入っています（エンジンは別にダウンロードします）。

テキストと画像に対応。単独版 ryugyosoft/gemma-4-E4B-it-npu と同じ検証済みの NPU グラフを、共通エンジンで動かします。

私たちの知る限り、画像エンコーダーと層ごとの埋め込みまで含めて Gemma 4 全体を NPU で動かす公開実装は onw が初めてです（2026 年 9 月、Fable 5.1 調べ。Intel 公式の OpenVINO GenAI は画像エンコーダーを CPU で動かし、他の公開例はテキストのみです）。

対応 PC：NPU 付きの Intel Core Ultra（シリーズ 1／2：Meteor Lake・Arrow Lake・Lunar Lake、シリーズ 3：Panther Lake）、Windows 11 または Ubuntu 22.04 以降。上の数値はテスト機（NPU 3720）での実測で、NPU やメモリ量によって変わります。

使い方

1. onw（エンジン）を入れます。 まだの場合は、onw の「インストール」 のとおり 1 行貼るだけです。Windows はスタートメニューで「PowerShell」を開き、次の 1 行を貼って Enter（Ubuntu は onw の README の curl ... | bash）。

   irm https://huggingface.co/ryugyosoft/onw/resolve/main/install.ps1 | iex
   

2. タスクトレイの onw アイコンから開く onw ウィンドウ の「モデル」タブで gemma-4-E4B-it を選び、「ダウンロード」を押します（4.3 GB）。

3. 「サーバー」タブでモデルを選んで「ロード」を押します。初回だけ NPU 向けの準備に約 4 分かかります。

4. 「チャット」ですぐ試せます。他のアプリからは OpenAI 互換 API として使えます（base URL は http://localhost:8000/v1）。

<img src="https://huggingface.co/ryugyosoft/onw/resolve/main/images/onw-models.png" width="640" alt="onw ウィンドウの「モデル」タブ">

<img src="https://huggingface.co/ryugyosoft/onw/resolve/main/images/onw-server.png" width="49%" alt="「サーバー」タブ"> <img src="https://huggingface.co/ryugyosoft/onw/resolve/main/images/onw-settings.png" width="49%" alt="「設定」タブ">

from openai import OpenAI
c = OpenAI(base_url="http://localhost:8000/v1", api_key="none")
r = c.chat.completions.create(model="gemma-4-E4B-it-onw", messages=[{"role": "user", "content": "こんにちは"}])
print(r.choices[0].message.content)

上級者向け：hf download ryugyosoft/gemma-4-E4B-it-onw で取得したフォルダを onw serve フォルダ で起動することもできます。Git LFS なしの git clone では重みが入らないので使わないでください（onw が検出して止めます）。

バージョン

• v2（現在）：デコーダーの重みを 1／16／64 トークン用で共有、層ごとの埋め込み表を INT4 化（9.2 → 4.3 GB、使用メモリ 16.1 → 14.8 GB）。回答は v1 と同じでした。 onw 0.3 以降が必要です。
• v1：hf download ryugyosoft/gemma-4-E4B-it-onw --revision v1 --local-dir ... で取り出せます。

ダウンロード量の削減の大半は同じ重みを 1 つにまとめたことによるもので、実行時は NPU がブロックサイズごとにコンパイル済みの重みを持つため、使用メモリの減り方は小さめです。

仕組み

• Gemma 4 用に書き換えた静的デコーダー（ヘッド次元 512 のアテンションを 256 幅に分割、マスクはホストで作成）をそのまま取り込んでいます。
• 埋め込みと 2.7 GB の層ごとの埋め込み表はホストで引きます（表を引くだけなので NPU メモリを使わず、単独版にあった別プロセスも不要）。
• 出力層は全ブロックサイズで共有する INT8 入力。logit の softcap は NPU コンパイラの不具合を避ける形で組んでいます。
• 詳しくは onw の技術解説。

ファイル

品質

エキスパートなどはチャネル単位・グループ単位の INT4（四捨五入量子化）です。確認した範囲では最初のトークンの予測は bf16 と一致し、回答は自然ですが、数トークン先から言い回しが元のモデルと分かれることがあります。

ライセンス

Apache 2.0（元モデルと同じ）。重みは元モデルから再量子化・再構成したものです。