Downloads · 30 days
118
5% of all-time downloads
grapeV-ai/gemma-4-12B-it-assistant-gguf
gemma-4-12B-it-assistant-gguf is a machine learning model from grapeV-ai. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
gemma-4-12B-itのマルチトークン予測(MTP)レイヤーをGGUFフォーマットに変換したものです。<br こちらのGGUFは単体ではご利用いただけません。gemma-4-12B-it本体のGGUFと併せて使用することで、トークン生成を高速化できます。<br 精度維持のため、Q40量子化に限り公式のQAT量子化版を元にGGUFを作成しております・
Downloads · 30 days
118
5% of all-time downloads
All-time downloads
2.3K
Public
Repo size
1.6 GB
Likes
6
Trending 1
Click a slice to open those files.
.gguf1.6 GB · 100%
From the Hugging Face model README
gemma-4-12B-itのマルチトークン予測(MTP)レイヤーをGGUFフォーマットに変換したものです。<br> こちらのGGUFは単体ではご利用いただけません。gemma-4-12B-it本体のGGUFと併せて使用することで、トークン生成を高速化できます。<br> 精度維持のため、Q4_0量子化に限り公式のQAT量子化版を元にGGUFを作成しております・
llama.cpp-b9549以降と合わせてご利用ください。<br>
--model-draft gemma-4-12b-it-assistant-Q4_0.gguf --spec-type draft-mtp --spec-draft-n-max 3引数でMTPが有効化されます。<br>
なお、投機的デコードの原理上、8または16bit量子化を使用する意味はほとんどないと思われます。<br>
また、--spec-draft-n-max引数には最大4までの数を指定できますが、日本語では3がスイートスポットのようです。
Apache 2.0
Google DeepMind