Downloads · 30 days
11
8% of all-time downloads
EXAONE-4.5-33B_GPTQ4
lee5j/EXAONE-4.5-33B_GPTQ4
EXAONE-4.5-33B_GPTQ4 is a machine learning model from lee5j. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
GPTQ 양자화는 V100과 같은 compute capability 가 7.0 인 상황에서 vllm을 돌릴 수 있는 몇 안되는 양자화 방식입니다.
All-time downloads
133
Public
Parameters
34.6B
22 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors22 GB · 100%
Parameter types
How the weights are stored.
I3231.5B · 91%
Base models
Model card
From the Hugging Face model README
GPTQ 양자화는 V100과 같은 compute capability 가 7.0 인 상황에서 vllm을 돌릴 수 있는 몇 안되는 양자화 방식입니다.
정확도가 AWQ나 NVFP4 GGUF 에 비해서는 떨어질 수 있겠지만 유용하게 사용하셨으면 합니다.
혹사나 양자화 했으면 모델이 있다면 https://github.com/LEE5J/llm-quant-lab issue 남겨주시면 확인후 양자화 하도록 하겠습니다.
- Type
- exaone4_5
- Created
- Apr 9, 2026
- Updated
- Apr 11, 2026