Downloads · 30 days
256
26% of all-time downloads
grapeV-ai/Qwen3.8-27B-GGUF
Qwen3.8-27B-GGUF is a machine learning model from grapeV-ai. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Qwen3.8-27BをMTP(=マルチトークン予測)レイヤーを含めてGGUFフォーマットに変換したものです。
Downloads · 30 days
256
26% of all-time downloads
All-time downloads
999
Public
Repo size
136 GB
Likes
1
Public
Click a slice to open those files.
.gguf136 GB · 100%
From the Hugging Face model README
Qwen3.8-27BをMTP(=マルチトークン予測)レイヤーを含めてGGUFフォーマットに変換したものです。
-mm mmproj-Qwen3.8-27b-BF16.ggufでビジョンエンコーダーをロードし、Vision対応モデルとして使用することができます。
推論努力(Reasoning effort)はlow / medium / xhighから選択可能で、デフォルトはxhighです。<br> llama.cppのserverの場合は起動時に以下の引数を追加することで変更可能です。
--chat-template-kwargs '{\"reasoning_effort\":\"xhigh\"}'
引数に--spec-type draft-mtp --spec-draft-n-max 2と追加することでMTPが有効化されます。<br>
なお、--spec-draft-n-maxの値については、日本語では2がスイートスポットのようです。
Apache 2.0
Alibaba Cloud