Downloads · 30 days
164
13% of all-time downloads
grapeV-ai/Muse-Glimmer-30B-assistant-GGUF
Muse-Glimmer-30B-assistant-GGUF is a machine learning model from grapeV-ai. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Muse Glimmerの公式な投機的デコード用モジュールMuse-Glimmer-30B-assistantをGGUFフォーマットに変換したものです。<br こちらのGGUFは単体ではご利用いただけません。Muse Glimmer本体のGGUFと併せて使用することで、トークン生成を高速化できます。
Downloads · 30 days
164
13% of all-time downloads
All-time downloads
1.3K
Public
Repo size
12.1 GB
Likes
1
Public
Click a slice to open those files.
.gguf12.1 GB · 100%
From the Hugging Face model README
Muse Glimmerの公式な投機的デコード用モジュールMuse-Glimmer-30B-assistantをGGUFフォーマットに変換したものです。<br> こちらのGGUFは単体ではご利用いただけません。Muse Glimmer本体のGGUFと併せて使用することで、トークン生成を高速化できます。
-md このGGUFのパス --spec-type draft-dflash --spec-draft-n-max 2引数でDFlash投機的デコードが有効化されます。<br>
なお、--spec-draft-n-max引数については、日本語では2~3がスイートスポットのようです。
Apache 2.0
Meta Superintelligence Lab