Downloads · 30 days
28
8% of all-time downloads
anhnlq/Qwen3-30B-A3B-Q4_K_M-GGUF
Qwen3-30B-A3B-Q4_K_M-GGUF is a text generation model from anhnlq. Use it when you need the model to write or continue text. It is set up for llama.cpp. The card lists the license as other.
This repository contains a GGUF export of the Qwen3-30B-A3B MoE architecture in Q4KM format. The artifact was produced by requantizing a Q80 reference for educational and research use. It is not an official upstream c…
Downloads · 30 days
28
8% of all-time downloads
All-time downloads
366
Public
Repo size
18.6 GB
Likes
0
Public
Click a slice to open those files.
.gguf18.6 GB · 100%
From the Hugging Face model README
This repository contains a GGUF export of the Qwen3-30B-A3B MoE architecture in Q4_K_M format. The artifact was produced by requantizing a Q8_0 reference for educational and research use. It is not an official upstream checkpoint and should not be treated as a production-ready release.
Bản này là một file GGUF của kiến trúc MoE Qwen3-30B-A3B ở định dạng Q4_K_M. Tài nguyên được tạo bằng cách requantize từ một bản tham chiếu Q8_0 nhằm phục vụ mục đích học tập và nghiên cứu. Đây không phải checkpoint gốc từ nhà phát triển và không nên được xem là bản phát hành sẵn sàng cho production.
The numbers below come from the latest quick benchmark run on the Tesla V100-SXM2-32GB setup, using llama.cpp build 8ed274ef4 (9630) and the Q4_K_M GGUF artifact.

| Metric / Chỉ số | Value / Giá trị | Note / Ghi chú |
|---|---|---|
| Prefill throughput / Throughput prefill (pp256) | 70.27 tok/s | Measured with llama-bench |
| Decode throughput / Throughput decode (tg64) | 19.75 tok/s | Measured with llama-bench |
| Q4 PPL (WikiText-2 raw) | 8.4329 ± 0.22887 | Quick perplexity run, 50 chunks, n_ctx=512 |
| Q8 PPL (WikiText-2 raw) | 8.2457 ± 0.22132 | Reference run for comparison |
| Mean KL divergence vs Q8 / KL trung bình so với Q8 | 0.022831 ± 0.001126 | Low divergence relative to the reference |
| Max KL divergence / KL tối đa | 1.488037 | Peak token-level divergence |
| Same top-p / Same top-p | 93.961 ± 0.472 % | Token top-p agreement |
| GSM8K exact match (smoke test) | 1/2 | Evaluated with a small limit of 2 samples |
Observed from the tensor inspection logs:
Quan sát từ các log kiểm tra tensor:
This repository contains only the model artifact and documentation. No training scripts or inference scripts are bundled.
Repo này chỉ chứa file mô hình và tài liệu mô tả. Không kèm theo script huấn luyện hoặc script chạy inference.
The accuracy evaluation path in this environment was partially constrained by GPU memory during server-based runs, so this card focuses on the metrics that were successfully captured from the available logs.
Quá trình đánh giá độ chính xác trong môi trường này bị giới hạn bởi bộ nhớ GPU khi chạy server, do đó card này tập trung vào các số liệu đã ghi nhận thành công từ các log sẵn có.