llm-jp-4-vl-9b-beta-mlx-4bit

llm-jp-4-vl-9b-beta (MLX 4bit, verified)

LLM勉強会（llm-jp）の llm-jp-4-vl-9b-beta（日英対応9B VLM。InternVL型グルー×SigLIP×llm-jp-4-8bの構成）をMLX 4bit（group size 64、実効5.026bpw）に量子化したものです。

当方で移植したMLX実装は**mlx-vlm本体にマージ済み（0.6.8で標準対応）**です（llmjpvl/ディレクトリ）。mlx-vlm 0.6.8以降ではそのまま使えます。

Apple Silicon上で、請求書・議事録・契約書等の日本語文書画像をローカルのまま読解できます。ピークメモリ約8GBなので16GB Macでも動作見込みです。

導入手順

mlx-vlm 0.6.8以降なら追加手順は不要です（この移植実装は#1738で本体にマージされ、0.6.8に収録されました。0.6.8での動作を実測確認済み）:

pip install mlx-vlm

<details><summary>0.6.7以前を使う場合（旧手順）</summary>

repo同梱のllmjpvl/をmlx_vlm/models/へコピーしてください（詳細は旧版カード参照）。

</details>

使い方

from mlx_vlm import load, generate

model, processor = load("tokimoa/llm-jp-4-vl-9b-beta-mlx-4bit", trust_remote_code=True)

text = processor.apply_chat_template(
    [{"role": "user", "content": "<image>この請求書の合計金額はいくらですか？"}],
    tokenize=False, add_generation_prompt=True,
)
out = generate(model, processor, text, image=["invoice.png"], max_tokens=256, temperature=0.0)
print(out.text)

変換品質の検証（tokimoa）

同梱のMLX実装は、bf16変換版でtransformers公式実装（bf16・MPS）とのgreedy出力一致検証を実施済みです（前処理・後処理を揃えた条件で、日本語ビジネス文書QA 6問すべて文字列レベルで完全一致）。

この4bit版の検証:

• 日本語ビジネス文書5種（請求書・議事録・契約条項・チェックシート・技術文書）の正解既知QA 6問で 6/6問正解
• bf16版とのgreedy比較で5/6問が文字列完全一致（残り1問も「この請求書の〜」が「〜」になる言い回し差のみで内容同一）
• 同一入力の反復2回で出力完全一致（決定論的）
• 議事録の長文説明（約200トークン生成）でも事実関係（数値・担当変更・期日）を正確に抽出

実測速度（M4 Max 36GB）

• 生成: 61.7 tok/s / プロンプト処理: 493 tok/s（画像3,370トークン・512px×最大12タイル）
• ピークメモリ: 8.2GB（重み5.3GB）

変換情報

• 変換元: llm-jp/llm-jp-4-vl-9b-beta（公式BF16、commit 783c4a9）
• MLX実装: mlx-vlm 0.6.7の部品（InternVL型グルー＋SigLIP＋Llama）を組み合わせた移植パッケージllmjpvl（このrepoに同梱）
• 量子化: mlx-vlm 0.6.7 convert -q --q-bits 4（group size 64 affine、実効5.026bpw）
• 兄弟repo: bf16（参照一致検証済み・20.6GB）/ 8bit（bf16と6/6完全一致・12.5GB）
• 変換者: tokimoa

ライセンス

Apache-2.0（元モデルに準拠）