HyperCLOVA-X-SEED-Think-14B-sft-71610-correct-minimal

HyperCLOVA X SEED Think-14B SFT 71610 Correct Minimal

이 저장소는 naver-hyperclovax/HyperCLOVAX-SEED-Think-14B pristine Base (revision 9b74e35d4c7e4ffec489f4171273caca8948a2b9)에 AI Hub 71610 금융·법률 MRC 데이터를 사용해 학습한 LoRA adapter를 병합한 standalone BF16 모델입니다. 1,000개 private-training 후보를 Base로 먼저 판정하고 Base가 정답을 맞힌 803개만 사용한 독립 source 실험입니다. 다른 AI Hub source, v0.21 mixture, public benchmark test 데이터는 학습에 포함하지 않았습니다.

학습 데이터

• AI Hub Dataset 71610 — 금융·법률 MRC
• Base probe pool 1,000개: 금융 449개 / 법률 551개
• Base-correct subset 803개: 금융 376개 / 법률 427개
• 제외: wrong 39개, uncertain 158개; 복제·재샘플링 없음
• target: 기존 Minimal SFT와 같은 label-only 정답 문자 A/B/C/D
• label 분포: A 194 / B 203 / C 207 / D 199
• public benchmark 문제·정답·평가 파일은 사용하지 않음
• AI Hub 안내: https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=71610

학습 설정

• Base: naver-hyperclovax/HyperCLOVAX-SEED-Think-14B
• Revision: 9b74e35d4c7e4ffec489f4171273caca8948a2b9
• LoRA: r=4, alpha=8, dropout=0, bias=none
• Target modules: q_proj, v_proj
• Learning rate: 1e-6; scheduler: constant; warmup: 0; weight decay: 0
• 1 epoch; 51 optimizer steps; batch size 1; gradient accumulation 16
• BF16; max sequence length 1024; packing disabled; assistant-only loss
• Seed/data seed: 42/42; gradient checkpointing enabled
• Final train loss: 3.0711510883
• Trainer runtime: 404.6195초; wall elapsed: 427.6719초

병합 및 사용

LoRA adapter를 pristine Base에 병합한 standalone BF16 safetensors 모델입니다. 별도 adapter나 custom model code 없이 Transformers로 로드할 수 있습니다. 이번 업로드 단계에서는 benchmark 점수를 측정하지 않았습니다.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "youngseok12/HyperCLOVA-X-SEED-Think-14B-sft-71610-correct-minimal"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, device_map="auto"
)

라이선스 및 제한

Base 모델과 병합 모델은 NAVER의 HyperCLOVA X SEED 14B Think Model License Agreement를 따릅니다. 저장소의 LICENSE 전문과 NOTICE를 확인해야 하며, AI Hub 원천 데이터 이용약관도 적용됩니다. 연구·평가용 모델로서 정확성을 보장하지 않으며 의료·법률·금융 판단의 유일한 근거로 사용하지 마십시오.