Downloads · 30 days
33
5% of all-time downloads
mmnga-o/Kimi-K3-REAP50-UD-gguf
Kimi-K3-REAP50-UD-gguf is a text generation model from mmnga-o. Use it when you need the model to write or continue text. The card lists the license as other.
Kimi-K3の各MoE層から、REAP saliencyに基づいて896 expertsのうち448 expertsを残した実験的GGUFです。
Downloads · 30 days
33
5% of all-time downloads
All-time downloads
732
Public
Repo size
1.1 TB
Likes
0
Public
Click a slice to open those files.
.gguf1.1 TB · 100%
From the Hugging Face model README
Kimi-K3の各MoE層から、REAP saliencyに基づいて896 expertsのうち448 expertsを残した実験的GGUFです。
Expert選択は日本語チャット、日本語コード生成、日本語推論、ツール使用を中心にcalibrationしています。これはファインチューニングではなく、Unsloth版Kimi-K3 GGUFから選択したexpertを再量子化せずに抽出したものです。
[!WARNING] これは実験的なexpert-prunedモデルです。元モデルと同等の品質は保証されません。特にcalibrationに含まれない言語、知識、長文、特殊なtool callでは、必要なexpertを削除している可能性があります。
| Quant | Shards | Original | REAP50 | Saved |
|---|---|---|---|---|
| UD-IQ1_S | 14 | 594.00 GB | 326.92 GB | 267.07 GB (45.0%) |
| UD-IQ1_M | 15 | 648.87 GB | 354.36 GB | 294.51 GB (45.4%) |
| UD-Q2_K_XL | 19 | 861.28 GB | 460.56 GB | 400.71 GB (46.5%) |