Downloads · 30 days
20
43% of all-time downloads
llama2-70b-marlin-4bit
DSAiLab/llama2-70b-marlin-4bit
llama2-70b-marlin-4bit is a text generation model from DSAiLab. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
DSAiLab/llama2-70b-marlin-4bit는 Meta의 LLaMA2-70B 모델을 기반으로, GPTQ 양자화와 Marlin 커널을 결합하여 최적화된 4bit 버전입니다.
All-time downloads
47
Public
Parameters
9.6B
36.4 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors36.4 GB · 100%
Parameter types
How the weights are stored.
I328.6B · 89%
Try a prompt
Model card
From the Hugging Face model README
LLaMA2-70B-Marlin-4bit
DSAiLab/llama2-70b-marlin-4bit는 Meta의 LLaMA2-70B 모델을 기반으로, GPTQ 양자화와 Marlin 커널을 결합하여 최적화된 4bit 버전입니다.
Marlin 커널은 빠른 추론과 적은 메모리 사용량을 목표로 설계된 고성능 디코딩 커널입니다.
Quantization (GPTQ + Marlin)
- Base Model: LLaMA2-70B
- Quantization Type: GPTQ 4bit
- Kernel: Marlin (CUDA 최적화)
- Group Size: 128
- Activation Ordering: Enabled
- Format: GPTQ with Marlin kernel
- 지원 프레임워크: vLLM, SGLang
특징
- 고속 추론: Marlin 커널을 활용해 일반 GPTQ보다 낮은 latency와 빠른 디코딩 속도 제공
- 메모리 최적화: 동일한 70B 모델을 더 적은 VRAM으로 실행 가능
- 추론 성능: 정확도 손실 최소화, 특히 대규모 텍스트 생성 및 RAG용도에 적합
- Task
- Text Generation
- Library
- transformers
- Type
- llama
- License
- apache-2.0
- Created
- Mar 6, 2024
- Updated
- Jul 30, 2025