Downloads · 30 days
361
3% of all-time downloads
k0ndra/Qwen3.5-35B-A3B-heretic-v2-ja-imatrix-GGUF
Qwen3.5-35B-A3B-heretic-v2-ja-imatrix-GGUF is a text generation model from k0ndra. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
Downloads · 30 days
361
3% of all-time downloads
All-time downloads
10.6K
Public
Repo size
108 GB
Likes
2
Public
Click a slice to open those files.
.gguf54.4 GB · 100%
From the Hugging Face model README
日本語を主体としたImportance MatrixによるGGUF量子化です。
Japanese-focused imatrix GGUF quantizations of llmfan46/Qwen3.5-35B-A3B-heretic-v2.
b8559日本語テキストを主体としたキャリブレーションデータでImportance Matrixを生成しています。
(おそらく)英語データをメインにで生成されたimatrixと比較して、低ビット量子化(IQ3/IQ4クラス)において日本語の生成品質をより良く維持することを期待していましたが、no thinkingでの選択式や抽出型などの日本語ベンチマークでは微妙な結果でした。 **llmfan46/Qwen3.5-35B-A3B-heretic-v2-GGUFを使用することを推奨します。**Q6_K以上ではimatrixによる差異は小さいと思うので、本リポジトリでは低ビット量子化に絞って公開しています。
imatrixデータファイル(Qwen3.5-35B-A3B-heretic-v2.imatrix)を同梱しているため、他の量子化タイプを生成したい場合にご利用いただけます。
このモデルは検閲除去処理が施されたモデルの量子化です。安全フィルターが大幅に緩和されており、有害・不適切なコンテンツを生成する可能性があります。出力内容の利用については利用者自身の責任においてご判断ください。
This is a quantization of an abliterated model with significantly reduced safety filters. Use at your own risk and responsibility.