Downloads · 30 days
16
0% of all-time downloads
qdzzzxc/RuadaptQwen3-32B-Instruct-AWQ
RuadaptQwen3-32B-Instruct-AWQ is a machine learning model from qdzzzxc. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Данная модель была получена квантизацией RefalMachine/RuadaptQwen3-32B-Instruct через библиотеку autogptq на датасете pomelk1n/RuadaptQwen-Quantization-Dataset
Downloads · 30 days
16
0% of all-time downloads
All-time downloads
5K
Public
Parameters
32.7B
19.2 GB on disk
Likes
3
Public
Click a slice to open those files.
.safetensors19.2 GB · 100%
How the weights are stored.
I3231.2B · 95%
From the Hugging Face model README
Данная модель была получена квантизацией RefalMachine/RuadaptQwen3-32B-Instruct через библиотеку autogptq на датасете pomelk1n/RuadaptQwen-Quantization-Dataset
На 09-06-2025 Qwen3 с квантизацией gguf не поддерживается в vLLM. FP8 квантизации же не работают с tensor parallelism = 4, из-за чего была выбрана точность 4bit