deepseek-r1-32b-v2-gptq

DeepSeek-R1-32B-v2 GPTQ

DeepSeek-R1-Distill-Qwen-32B의 GPTQ 4-bit 양자화 모델입니다.
한국어 학술 지문 기반 수능 풀이 특화 프로젝트에서 활용된 양자화 버전입니다.

---

모델 정보

---

AWQ 버전

메모리 효율과 추론 속도를 비교하고 싶다면 AWQ 버전도 확인하세요:
👉 xeker/deepseek-r1-32b-v2-awq

---

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("xeker/deepseek-r1-32b-v2-gptq")
model = AutoModelForCausalLM.from_pretrained(
    "xeker/deepseek-r1-32b-v2-gptq",
    device_map="auto"
)

messages = [
    {"role": "user", "content": "다음 문제를 단계적으로 풀어보세요.\n\n[문제]"}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=4096)
print(tokenizer.decode(outputs[0], skip_special_tokens=False))

---

프로젝트 배경

네이버 부스트캠프 AI Tech 8기 팀 프로젝트의 일환으로 진행된 수능 풀이 특화 LLM 개발 프로젝트에서 활용된 모델입니다.

• GitHub: boostcampaitech8/pro-nlp-mrc-nlp-01