Downloads · 30 days
11
18% of all-time downloads
llama2-70b-gptq-3bit-32g
DSAiLab/llama2-70b-gptq-3bit-32g
llama2-70b-gptq-3bit-32g is a text generation model from DSAiLab. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
본 모델은 Meta의 LLaMA2-70B 모델을 기반으로 GPTQ 방식으로 3bit 양자화된 버전입니다.
All-time downloads
61
Public
Parameters
9.6B
36.4 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors36.4 GB · 100%
Parameter types
How the weights are stored.
I328.6B · 89%
Try a prompt
Model card
From the Hugging Face model README
LLaMA2-70B-GPTQ-3bit-32g
본 모델은 Meta의 LLaMA2-70B 모델을 기반으로 GPTQ 방식으로 3bit 양자화된 버전입니다.
Quantization (GPTQ)
- Base Model: LLaMA2-70B
- Quantization Type: GPTQ 3bit
- Group Size: 32
- Bits: 3bit (int3)
- Activation Ordering: Enabled
- 지원 프레임워크: vLLM, SGLang
특징
- 메모리 절약: 3bit 압축으로 70B 모델을 단일 A100/H100에서 실행 가능
- 성능-용량 절충: 4bit 대비 약간의 정확도 손실이 발생할 수 있으나, 빠른 추론과 낮은 비용으로 장점 극대화
- Task
- Text Generation
- Library
- transformers
- Type
- llama
- License
- apache-2.0
- Created
- Mar 7, 2024
- Updated
- Jul 30, 2025