Downloads · 30 days
23
5% of all-time downloads
qwq-bakeneko-32b-gguf
grapevine-AI/qwq-bakeneko-32b-gguf
qwq-bakeneko-32b-gguf is a machine learning model from grapevine-AI. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
rinna社による日本語版QwQ-32B、qwq-bakeneko-32bをGGUFフォーマットに変換したものです。
All-time downloads
440
Public
Repo size
188 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf188 GB · 100%
At a glance
- License
- apache-2.0
- Access
- Public
- Created
- Apr 27, 2025
- Updated
- Apr 27, 2025
- SHA
- b05d11af
Model card
From the Hugging Face model README
What is this?
rinna社による日本語版QwQ-32B、qwq-bakeneko-32bをGGUFフォーマットに変換したものです。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
Chat template
<|im_start|>system
ここにSystem Promptを書きます。<|im_end|>
<|im_start|>user
ここにMessageを書きます。<|im_end|>
<|im_start|>assistant
Quants
各クオンツとそのベンチマークスコア（Gemini 2.0 Flash採点によるElyza_tasks 100）をまとめておきます。
| クオンツ | スコア | コメント |
|---|---|---|
| Q8_0 | 4.4 | |
| Q6_K | 4.43 | |
| Q5_K_M | 4.35 | |
| Q4_K_M | 4.42 | |
| IQ4_XS | 4.51 |
Environment
Windows版llama.cpp-b5074および同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
License
Apache 2.0
Developer
Alibaba Cloud & rinna
- License
- apache-2.0
- Created
- Apr 27, 2025
- Updated
- Apr 27, 2025