gemma-4-31B-it-gguf

What is this?

Google DeepMind初のReasoning対応オープンソースモデルgemma-4-31B-itをGGUFフォーマットに変換したものです。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。

<!-- # Quants 各クオンツのベンチマーク測定結果（API版Gemma4 31B採点によるElyza_tasks 100）をまとめておきます。 - 思考なし |クオンツ|スコア|コメント| |---|---|---| |Q6_K|4.58| |Q5_K_M|4.62|推奨| |Q4_K_M|4.53|| |IQ4_XS|4.4|| - 思考あり |クオンツ|スコア|コメント| |---|---|---| |Q4_K_M|4.62|| |IQ4_XS|4.737|| -->

Note

llama.cpp-b8662以降と合わせてご利用ください。<br> -mm mmproj-gemma-4-31b-it-BF16.ggufでビジョンエンコーダーをロードし、Vision対応モデルとして使用することができます。<br> --reasoning offで思考をオフにできます。

Environment

Windows版llama.cpp-b8641およびllama.cpp-b8648同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。

License

Apache 2.0

Developer

Google DeepMind