MiMo-V2.6-Distill-Qwen-9B-GGUF

MiMo-V2.6-Distill-Qwen-9B GGUF

XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B を llama.cpp で GGUF 化・量子化したモデルです。

このリポジトリでは、BF16 GGUF と各種量子化モデルを公開しています。通常の量子化に加えて、日本語・指示追従・ツール利用を重視した公開データのみのキャリブレーションコーパスから作成した Importance Matrix（imatrix） を使用した量子化版も用意しています。

比較・検証用として、可能な量子化形式では imatrix あり / なし の両方を用意しています。

[!IMPORTANT] 元モデルはマルチモーダルモデルです。
このリポジトリでは LLM 本体の GGUF に加えて、Vision 用の mmproj も公開しています。

mmproj は LLM 側の量子化形式とは独立して共用できます。
たとえば Q4_K_M、IQ3_M、Q2_K など、どの LLM GGUF を使う場合でも同じ mmproj を組み合わせて利用できます。

元モデル

• Base model: XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B
• Base architecture: Qwen3.5-9B
• License: MIT
• GGUF / Quantization: Quantelium
• Tool: llama.cpp

MiMo-V2.6-Distill-Qwen-9B は Xiaomi MiMo が Qwen3.5-9B をベースに SFT した 9B クラスの agentic model で、コード生成、一般的なエージェントタスク、ツール利用などを想定したモデルです。

量子化バリエーション

BF16 GGUF は、量子化比較の基準モデル兼・非量子化 GGUF として公開しています。

IQ2_M は llama.cpp 側で Importance Matrix が必須となるため、no-imatrix 版はありません。

ファイル名に -no-imatrix が付いていない量子化モデルは、原則として本リポジトリで作成した imatrix を使用しています。

Vision / mmproj

元モデルの画像入力機能を利用するため、Vision 用 projector GGUF も用意しています。

ファイル名:

mmproj-MiMo-V2.6-Distill-Qwen-9B-BF16.gguf

mmproj は LLM 本体とは別ファイルです。
LLM 側の量子化形式ごとに個別の mmproj を作る必要はなく、同じ projector を各 GGUF と組み合わせて利用できます。

例:

MiMo-V2.6-Distill-Qwen-9B-Q4_K_M.gguf
+
mmproj-MiMo-V2.6-Distill-Qwen-9B-BF16.gguf

Vision の読み込み方法は、使用する llama.cpp / LM Studio のバージョンやフロントエンド側の対応状況によって異なります。

LM Studio で LLM 本体と BF16 mmproj を組み合わせた画像入力を確認しています。

どれを使えばいい？

用途別の目安です。

VRAM 使用量はモデル本体だけではなく、KV cache、context length、GPU offload 設定などでも増減します。

Importance Matrix

このリポジトリの imatrix は、量子化時に重要な重みを判断するためのキャリブレーションに使用しています。

これはファインチューニングや追加学習ではありません。
元モデルの重みを学習し直すのではなく、Post-Training Quantization（PTQ）時の量子化誤差を抑えるための統計情報として利用しています。

キャリブレーションコーパス

最終コーパスは約 409,600 tokens です。

主な構成:

コーパス作成時の方針と検証

単純に複数のデータセットを連結するのではなく、 量子化時の Importance Matrix 作成に使用することを前提として、 会話構造・Tool Use・コード・日本語テキストが不自然に壊れないように整形と検証を行っています。

1. 日本語を中心にしつつ用途を偏らせすぎない

主な用途として日本語での仕様書作成、指示追従、コーディング、 エージェント / Tool Use を想定し、おおよそ以下の構成になるよう調整しました。

• 日本語一般・技術文
• 日本語 Instruction
• 日本語情報抽出
• Tool / Agent
• Code / SQL

最終的な構成は、おおよそ

• 日本語: 75%
• Tool / Agent / Reasoning: 20%
• Code / SQL: 5%

です。

特定のタスクだけに極端に寄せるのではなく、 モデル本来の汎用性を大きく崩さない範囲で日本語・エージェント用途を重視しています。

2. 公開データのみを使用

キャリブレーションには公開データセットのみを使用しています。

個人の会話履歴、非公開文書、個人情報、 プライベートなプロジェクトデータなどは使用していません。

3. 言語ノイズの除去

キャリブレーションコーパスは、日本語と英語を中心に構成しています。

日本語データについては、明らかな言語崩れやノイズを避けるため、

• 中国語への言語崩れ
• ハングルの混入
• キリル文字の混入
• 文字化け（U+FFFD）
• Web / forum由来の不要な定型文

などを対象にヒューリスティックなフィルタリングを行いました。

ただし、すべてのサンプルに対して厳密な言語識別を行い、 日本語・英語以外を完全に排除したことを保証するものではありません。

4. 会話テンプレートを壊さない

MiMo / Qwen 系の chat template に合わせて、 <|im_start|> / <|im_end|> を含む会話構造を整形しています。

生成後には以下を機械的に検査しました。

• <|im_start|> / <|im_end|> の対応
• 不正な assistant → assistant 連続
• 途中で切れた会話
• 重複ブロック
• 不正な特殊文字
• 既知の truncation パターン

5. Tool Use データを厳しく検証

Tool Use は構造が壊れたまま混ぜると、 tool call や JSON 出力の品質を損なう可能性があるため、 通常の文章より厳しく検証しています。

確認した項目には以下が含まれます。

• Tool schema の JSON 妥当性
• Tool call の JSON 妥当性
• 宣言されていない tool の呼び出し
• tool call / tool response の対応
• tool 実行後に最終回答が存在すること
• Python風の型表記など、JSON Schema として不正な型の除去

最終コーパスでは、これらの構造エラーが 0 件になることを確認しています。

6. Reasoning 内容はキャリブレーションから除外

<think> タグを持つデータについては、 内部 reasoning の文章そのものを学習対象のように扱わないよう、 非空の reasoning 内容を含めない形に整形しています。

これはファインチューニングではありませんが、 キャリブレーションデータとして不要な reasoning 形式への偏りを避けるためです。

7. Code / SQL は途中で切れたデータを使用しない

MBPP 由来の Python データについては、

• Task
• Code
• Tests

が揃っていることを確認し、Python 構文として parse できるものだけを採用しました。

SQL データについても、

• Schema
• Question
• SQL

が揃っていることを確認しています。

8. 512 token ごとの人工的な padding を行わない

コーパスは 512 token ごとに独立して padding するのではなく、 できるだけ連続した token stream として構築しています。

最後の端数のみ EOS で最小限の padding を行っています。

最終コーパス:

• Total: 409,600 tokens
• Source content: 407,457 tokens
• Data blocks: 1,829
• Inter-block EOS: 1,828
• Final tail padding: 315 tokens
• Tail padding ratio: 約0.08%

これにより、人工的な padding が Importance Matrix の統計に 必要以上に影響しないようにしています。

9. 最終検証

最終版では以下を確認しています。

• 重複ブロック: 0
• U+FFFD replacement character: 0
• Tool schema JSON error: 0
• Tool call JSON error: 0
• 未宣言 tool call: 0
• Tool call / response mismatch: 0
• Tool実行後の最終回答欠落: 0
• 不正な Python-style schema type: 0
• 非空 reasoning: 0

最終コーパスから作成した imatrix は、

• chunk size: 512
• chunk count: 799
• tensors: 248

となりました。

プライバシーについて

キャリブレーションコーパスには、個人の会話履歴、非公開文書、個人情報、プライベートなプロジェクトデータは使用していません。

公開されているデータセットのみを使用して構築しています。

imatrix 情報

• Corpus tokens: 約409,600
• imatrix chunk size: 512
• imatrix chunk count: 799
• tensors: 248

ベンチマーク

全量子化モデルを同一条件で比較しています。

• PPL: WikiText-2 raw test
  • context: 512
  • batch: 512
  • chunks: 4
• JMMLU: nlp-waseda/JMMLU_CC-BY-SA
  • 53問固定サブセット
  • seed: 42
  • 0-shot
  • reasoning: off

[!NOTE] JMMLU はフルセットの公式スコアではなく、量子化差を短時間で比較するための 固定53問サブセットです。

また、Qwen3.5 系の hybrid recurrent / GDN 構成では、現在の llama.cpp の PPL が精度に対して単調にならない場合があります。PPL は絶対的な品質順位ではなく、同一 llama.cpp build・同一条件内での診断値として扱ってください。

結果

詳細:

• benchmark_results.md
• benchmark_results.csv
• imatrix_comparison.csv

imatrix の効果について

今回の短縮ベンチでは、特に低bit量子化で imatrix の効果が大きく確認されました。

一方、Q8_0 では差がなく、Q5_K_M や IQ4_XS ではこの53問サブセット上で no-imatrix 版がわずかに上回っています。

そのため、imatrix がすべての量子化・すべてのタスクで必ず精度を上げることを意味するものではありません。
特に低bit化による劣化を抑える方向で効果が大きく現れた結果として公開しています。

Vision を使う場合

llama.cpp で画像入力を使う場合は、LLM 本体と mmproj の両方を指定します。

例:

llama-mtmd-cli \
  -m MiMo-V2.6-Distill-Qwen-9B-Q4_K_M.gguf \
  --mmproj mmproj-MiMo-V2.6-Distill-Qwen-9B-BF16.gguf

実際に利用できる実行ファイル名やオプションは、使用している llama.cpp build によって変わる場合があります。

LM Studio では、LLM 本体と projector を組み合わせて画像入力を利用できます。
UI 側の自動認識や読み込み方法は LM Studio のバージョンによって変わる可能性があります。

llama.cpp

量子化・ベンチマークに使用した build:

llama.cpp v0.4.1-dev
build 11118
commit e6ab7c1a4

量子化は BF16 GGUF から実施しました。

imatrix 版の例:

llama-quantize \
  --imatrix MiMo-V2.6-Distill-Qwen-9B-imatrix-v12_1.gguf \
  MiMo-V2.6-Distill-Qwen-9B-BF16.gguf \
  MiMo-V2.6-Distill-Qwen-9B-Q4_K_M.gguf \
  Q4_K_M

使い方

LM Studio

GGUF ファイルをダウンロードし、LM Studio からモデルとして読み込んでください。

モデルサイズだけでなく context length によっても必要メモリ量が大きく変わります。
VRAM が少ない環境では、context length を抑えるか、一部レイヤーを CPU / RAM 側へオフロードしてください。

llama.cpp

例:

llama-cli \
  -m MiMo-V2.6-Distill-Qwen-9B-Q4_K_M.gguf \
  -ngl 999

OpenAI Compatible API として利用する場合:

llama-server \
  -m MiMo-V2.6-Distill-Qwen-9B-Q4_K_M.gguf \
  -ngl 999 \
  -c 32768

-ngl や context length は環境に合わせて調整してください。

LM Studio での表示名について

LM Studio では、ローカルモデルの取り込み方法や登録状態によって、同じシリーズの GGUF でも表示名が

mimo-v2.6-distill-qwen-9b@q4_k_m

のような variant 表示になったり、

quantelium/mimo-v2.6-distill-qwen-9b/...

のようなパス形式で表示されたりする場合があります。

これは LM Studio 側のモデル登録・表示上の違いであり、GGUF 内のモデルメタデータや量子化品質の違いを意味するものではありません。

ファイル名について

例:

MiMo-V2.6-Distill-Qwen-9B-BF16.gguf
MiMo-V2.6-Distill-Qwen-9B-Q4_K_M.gguf
MiMo-V2.6-Distill-Qwen-9B-Q4_K_M-no-imatrix.gguf
mmproj-MiMo-V2.6-Distill-Qwen-9B-BF16.gguf

• Q4_K_M.gguf
  → imatrix 使用版

• Q4_K_M-no-imatrix.gguf
  → imatrix 未使用版

ライセンス

元モデル XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B は MIT License で公開されています。

本リポジトリの GGUF 量子化モデルも、元モデルのライセンス条件に従います。

元モデルおよび関連プロジェクトの作者・貢献者に感謝します。

免責事項

このリポジトリのベンチマークは、量子化方式間の比較を目的とした独自の短縮テストです。
公式ベンチマークの代替ではなく、実際の性能はプロンプト、sampling、context length、バックエンド、ハードウェア、利用するアプリケーションなどによって変化します。