Downloads · 30 days
9
8% of all-time downloads
EXAONE-4.5-33B_GPTQ8
lee5j/EXAONE-4.5-33B_GPTQ8
EXAONE-4.5-33B_GPTQ8 is a text generation model from lee5j. Use it when you need the model to write or continue text.
GPTQ 양자화는 V100과 같은 compute capability 가 7.0 인 상황에서 vllm을 돌릴 수 있는 몇 안되는 양자화 방식입니다.
All-time downloads
110
Public
Parameters
34.4B
37.2 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors37.2 GB · 100%
Parameter types
How the weights are stored.
I3231.5B · 92%
Try a prompt
Base models
Model card
From the Hugging Face model README
GPTQ 양자화는 V100과 같은 compute capability 가 7.0 인 상황에서 vllm을 돌릴 수 있는 몇 안되는 양자화 방식입니다.
정확도가 AWQ나 NVFP4 GGUF 에 비해서는 떨어질 수 있겠지만 유용하게 사용하셨으면 합니다.
혹사나 양자화 했으면 모델이 있다면 https://github.com/LEE5J/llm-quant-lab issue 남겨주시면 확인후 양자화 하도록 하겠습니다.
- Task
- Text Generation
- Type
- exaone4_5
- Created
- Apr 9, 2026
- Updated
- Apr 11, 2026