Downloads · 30 days
18
11% of all-time downloads
smorce/Qwen2.5-Coder-32B-Instruct-karakuri-thinking-slerp-AWQ
Qwen2.5-Coder-32B-Instruct-karakuri-thinking-slerp-AWQ is a text generation model from smorce. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
カラクリ様が公開されている karakuri-lm-32b-thinking-2501-exp と Qwenチームが公開されている Qwen2.5-Coder-32B-Instruct をマージし、それを AWQ 4bit で量子化したモデルになります。
Downloads · 30 days
18
11% of all-time downloads
All-time downloads
166
Public
Parameters
32.8B
19.3 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors19.3 GB · 100%
How the weights are stored.
I3231.2B · 95%
From the Hugging Face model README
カラクリ様が公開されている karakuri-lm-32b-thinking-2501-exp と Qwenチームが公開されている Qwen2.5-Coder-32B-Instruct をマージし、それを AWQ 4bit で量子化したモデルになります。
キャリブレーション用データセットは izumi-lab/wikipedia-ja-20230720 を使用しました。<br> ※TFMC/imatrix-dataset-for-japanese-llm ではございません。
量子化前のモデルとマージ設定は以下の通りです:<br> Qwen2.5-Coder-32B-Instruct-karakuri-thinking-slerp
日本語のReasoningモデルにコーディング能力を付与する目的で作成しました。
quant_config = {
"zero_point": True,
"q_group_size": 128,
"w_bit": 4,
"version": "GEMM"
}
このモデルは崩壊してしまい、失敗でした。