HyperCLOVA-X-SEED-MISHULTA-Solar-Distilled-v1.8

HyperCLOVA-X-SEED-MISHULTA-Solar-Distilled-v1.8

K-DATA SCIENCE 해커톤 제출 모델 · 팀 MISHULTA

naver-hyperclovax/HyperCLOVAX-SEED-Think-14B(국내 기업 개발 모델, 14.8B)를 한국어 객관식 추론 과제에 맞춰 LoRA로 미세조정한 뒤 병합한 모델입니다. 한국어 지식형 문항과 다단 추론 문항에 대해 풀이 과정을 거쳐 결론을 제시하고, 답을 낸 뒤 생성을 안정적으로 종료하도록 정렬했습니다.

Teacher 모델 출처 및 이용 조건

본 모델은 Upstage Solar Pro 4를 teacher 모델로 사용하여 학습 데이터(CoT)를 생성하였으며, 해당 활용은 비상업·해커톤 목적에 한하여 업스테이지의 별도 확인(컨펌)을 거쳐 진행되었습니다.

현 Upstage 이용약관상 Solar 결과물을 활용한 distillation은 원칙적으로 허용되지 않으며, 본 건은 예외적으로 확인을 받은 사례입니다. 따라서 본 모델카드를 근거로 Solar 기반 distillation이 일반적으로 허용된다고 해석해서는 안 됩니다.

Solar 관련 조건은 Solar Open 2 라이선스를 따릅니다.

학습 데이터

모두 공개 데이터 또는 자체 생성 데이터이며, 평가용 test 스플릿은 사용하지 않았습니다.

평가 대상 벤치마크(KMMLU-Pro·CLIcK)와의 문항 중복은 문항 + 선택지 단위로 전수 대조하여 제거했습니다.

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "smllms/HyperCLOVA-X-SEED-MISHULTA-Solar-Distilled-v1.8"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "다음 문제의 정답을 고르시오. ..."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, do_sample=False, stop_strings=["<|endofturn|>", "<|stop|>"], tokenizer=tok)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

chat template 기본값은 think-OFF이며, 정답은 출력 마지막의 정답: X 형식으로 제시됩니다.

라이선스

베이스 모델의 HyperCLOVA X SEED Model License Agreement를 따릅니다. 라이선스 §3.1에 따라 파생 모델명은 "HyperCLOVA X"로 시작합니다.

Teacher 모델(Upstage Solar Pro 4) 관련 조건은 상단 절을 반드시 함께 확인하십시오.

팀

MISHULTA — 미술전시 큐레이션 서비스 운영팀. K-DS 해커톤(NIA) 참가.