Downloads · 30 days
9
6% of all-time downloads
xeker/qwen3-14b-distilled-gptq
qwen3-14b-distilled-gptq is a text generation model from xeker. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
Qwen3-14B을 기반으로 Knowledge Distillation 방식으로 학습한 후 GPTQ 4-bit 양자화를 적용한 모델입니다. 수능 풀이 특화 CoT(Chain-of-Thought) 데이터셋을 통해 추론 능력을 향상시켰으며, 원본 대비 +2.8% 성능 향상을 달성했습니다.
Downloads · 30 days
9
6% of all-time downloads
All-time downloads
160
Public
Parameters
14.8B
10 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors10 GB · 100%
How the weights are stored.
I3213.2B · 89%
From the Hugging Face model README
Qwen3-14B을 기반으로 Knowledge Distillation 방식으로 학습한 후 GPTQ 4-bit 양자화를 적용한 모델입니다.
수능 풀이 특화 CoT(Chain-of-Thought) 데이터셋을 통해 추론 능력을 향상시켰으며, 원본 대비 +2.8% 성능 향상을 달성했습니다.
| 항목 | 내용 |
|---|---|
| Base Model | Qwen/Qwen3-14B |
| Teacher Model | DeepSeek-v3.2 (OpenRouter API) |
| 양자화 방식 | GPTQ 4-bit |
| 파라미터 수 | 14.8B |
| 학습 언어 | 한국어 (주), 영어 |
| 학습 데이터 | 2,031건 한국어 학술 지문 (CoT 포함) |
DeepSeek-v3.2(Teacher)를 사용해 2,031건의 한국어 학술 지문에 대한 Chain-of-Thought 데이터를 생성했습니다.
증류 전략 (Zero-shot + Guided Fallback)
<think> 태그 포함 사고 과정 생성품질 관리 결과
</think> 포함 보장)학습 완료 후 GPTQ 4-bit 양자화 적용.
⚠️ 14B 모델은 양자화 후에도 +2.8% 성능 향상이 유지되었습니다.
(32B 이상 대형 모델에서는 과적합으로 인한 양자화 성능 저하 패턴이 확인됩니다.)
| 지표 | 결과 |
|---|---|
| 기본 모델 대비 성능 변화 | +2.8% |
| 정답 추출 성공률 | 100% |
| 데이터 커버리지 | 100% (2,031건) |
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("xeker/qwen3-14b-distilled-gptq")
model = AutoModelForCausalLM.from_pretrained(
"xeker/qwen3-14b-distilled-gptq",
device_map="auto"
)
messages = [
{"role": "system", "content": "당신은 한국어 학술 지문을 분석하고 추론하는 전문가입니다."},
{"role": "user", "content": "다음 지문을 읽고 질문에 답하세요.\n\n[지문 내용]"}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
text += "<think>\n" # Prompt Pre-filling: CoT 추론 강제
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=2048, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=False))
Prompt Pre-filling (
<think>\n)을 사용하면 모델이 Tool Call 없이 Chain-of-Thought 추론을 수행합니다.
Python PyTorch Transformers vLLM GPTQ Knowledge Distillation OpenRouter API
네이버 부스트캠프 AI Tech 8기 팀 프로젝트의 일환으로 진행된 수능 풀이 특화 LLM 개발 프로젝트에서 파생된 모델입니다.
CoT 데이터 증류, Prompt Pre-filling, Soft Voting 앙상블, GPTQ 양자화 실험을 수행했습니다.