Downloads · 30 days
67
20% of all-time downloads
oshiteku/Sanshoku-Qwen3.8-27B-GGUF
Sanshoku-Qwen3.8-27B-GGUF is a image-text-to-text model from oshiteku. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. It is set up for llama.cpp. The card lists the license as apache-2.0.
Downloads · 30 days
67
20% of all-time downloads
All-time downloads
340
Public
Repo size
21.9 GB
Likes
0
Public
Click a slice to open those files.
.gguf21.9 GB · 100%
From the Hugging Face model README
<a id="english"></a>
A fully ternary version of Qwen3.8-27B. Every weight matrix, including the embedding, the output head and the MTP block, takes values in {−1, 0, +1}. The model was trained with QAT against the original model.
This is an experimental model and is not yet suited for practical use.
All three GGUFs contain the same weights in different packings.
| File | Size | Runtime |
|---|---|---|
Sanshoku-Qwen3.8-27B-Q2_0.gguf | 7.70 GB | upstream llama.cpp |
Sanshoku-Qwen3.8-27B-PQ2_0.gguf | 7.28 GB | PrismML fork of llama.cpp |
Sanshoku-Qwen3.8-27B-PTQ1_0.gguf | 6.00 GB | PrismML fork of llama.cpp |
mmproj-F16.gguf | 0.93 GB | vision encoder (original, FP16) |
llama-server -hf oshiteku/Sanshoku-Qwen3.8-27B-GGUF -hff Sanshoku-Qwen3.8-27B-Q2_0.gguf \
-ngl 99 -c 32768 -fa on -ctk q8_0 -ctv q8_0 --jinja \
--spec-type draft-mtp --spec-draft-n-max 2 \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0
Specify the file with -hff, since the tag :Q2_0 can also match the PQ2_0 file. The MTP head is
included in each GGUF. Tested with llama.cpp 1a67982 and the PrismML fork bdc23b5.
Measured on an RTX 4000 Ada (20 GB). Prefill and decode are llama-bench pp512 and tg128. Decode + MTP
is the average over four chat requests (256 output tokens, 2 draft tokens).
| Format | Runtime | Prefill (tok/s) | Decode (tok/s) | Decode + MTP (tok/s) |
|---|---|---|---|---|
| Q2_0 | upstream | 1012 | 36.5 | 59.2 |
| PQ2_0 | fork | 1040 | 39.1 | 62.4 |
| PTQ1_0 | fork | 1003 | 41.9 | 43.7 |
| Qwen3.8-27B UD-Q4_K_M (16.5 GB) | upstream | 923 | 19.2 | 35.5 |
Small-scale local evaluations. All models use the same prompts and settings.
| Sanshoku | Ternary Bonsai 2 | Qwen3.8 UD-Q4_K_M | |
|---|---|---|---|
| Size | 7.3 GB | 7.2 GB | 16.5 GB |
| Top-1 agreement with BF16 ¹ | 84.4% | 89.1% | 97.0% |
| KL divergence from BF16 ¹ | 0.297 | 0.153 | 0.014 |
| Math (subsets) ² | 74.7% | 89.0% | 91.0% |
| SWE-bench Verified Mini ³ | 18% | 60% | – |
The model is weakest at long reasoning (math), Japanese writing and long agentic tasks.
Apache-2.0
Thanks to the Qwen team for the base model, PrismML for the PQ2_0 and PTQ1_0 kernels, and the llama.cpp project.
<a id="日本語"></a>
Qwen3.8-27B の重みをすべて3値にしたモデルです。embedding、出力 head、 MTP ブロックを含むすべての重み行列が {−1, 0, +1} の値をとります。元モデルを教師として QAT で学習しました。
実験的なモデルであり、まだ実用的な品質ではありません。
3つの GGUF は同じ重みを異なる形式で格納しています。
| ファイル | サイズ | 実行環境 |
|---|---|---|
Sanshoku-Qwen3.8-27B-Q2_0.gguf | 7.70 GB | 通常の llama.cpp |
Sanshoku-Qwen3.8-27B-PQ2_0.gguf | 7.28 GB | PrismML 版 llama.cpp (fork) |
Sanshoku-Qwen3.8-27B-PTQ1_0.gguf | 6.00 GB | PrismML 版 llama.cpp (fork) |
mmproj-F16.gguf | 0.93 GB | 画像エンコーダ (オリジナル、FP16) |
llama-server -hf oshiteku/Sanshoku-Qwen3.8-27B-GGUF -hff Sanshoku-Qwen3.8-27B-Q2_0.gguf \
-ngl 99 -c 32768 -fa on -ctk q8_0 -ctv q8_0 --jinja \
--spec-type draft-mtp --spec-draft-n-max 2 \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0
タグ :Q2_0 では PQ2_0 のファイルが選ばれることがあるため、ファイルは -hff で指定してください。MTP head は
各 GGUF に含まれています。llama.cpp 1a67982 と PrismML 版 bdc23b5 で動作を確認しています。
RTX 4000 Ada (20 GB) で測定。prefill と decode は llama-bench の pp512 と tg128、decode + MTP は4つの
チャットリクエストの平均です (出力 256 トークン、ドラフト 2 トークン)。
| 形式 | 実行環境 | prefill (tok/s) | decode (tok/s) | decode + MTP (tok/s) |
|---|---|---|---|---|
| Q2_0 | 通常版 | 1012 | 36.5 | 59.2 |
| PQ2_0 | fork | 1040 | 39.1 | 62.4 |
| PTQ1_0 | fork | 1003 | 41.9 | 43.7 |
| Qwen3.8-27B UD-Q4_K_M (16.5 GB) | 通常版 | 923 | 19.2 | 35.5 |
手元で行った小規模な評価です。すべてのモデルで同じプロンプトと設定を使っています。
| Sanshoku | Ternary Bonsai 2 | Qwen3.8 UD-Q4_K_M | |
|---|---|---|---|
| サイズ | 7.3 GB | 7.2 GB | 16.5 GB |
| BF16 との top-1 一致率 ¹ | 84.4% | 89.1% | 97.0% |
| BF16 との KL divergence ¹ | 0.297 | 0.153 | 0.014 |
| 数学 (サブセット) ² | 74.7% | 89.0% | 91.0% |
| SWE-bench Verified Mini ³ | 18% | 60% | – |
特に弱いのは、長い推論 (数学)、日本語の文章作成、長いエージェントタスクです。
Apache-2.0
ベースモデルを公開している Qwen チーム、PQ2_0 と PTQ1_0 のカーネルを開発した PrismML、そして llama.cpp プロジェクトに 感謝します。