Downloads · 30 days
8
6% of all-time downloads
youngseok12/HyperCLOVA-X-SEED-Think-14B-kl-grammar-vo-lr5e-6
HyperCLOVA-X-SEED-Think-14B-kl-grammar-vo-lr5e-6 is a text generation model from youngseok12. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as other.
이 저장소는 K-AI 리더보드 최고 제출 모델 youngseok12/HyperCLOVA-X-SEED-Think-14B-minimal-sft-71875(K-AI 실제 평균 0.4788) 위에, 검수한 국어 문법 데이터로 학습한 2차 LoRA를 병합한 standalone BF16 모델입니다. pristine Base가 아니라 이미 한 번 SFT된 최고 제출 모델을 base로 삼아 추가 학습…
Downloads · 30 days
8
6% of all-time downloads
All-time downloads
142
Public
Parameters
14.7B
29.5 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors29.5 GB · 100%
From the Hugging Face model README
이 저장소는 K-AI 리더보드 최고 제출 모델
youngseok12/HyperCLOVA-X-SEED-Think-14B-minimal-sft-71875(K-AI 실제 평균
0.4788) 위에, 검수한 국어 문법 데이터로 학습한 2차 LoRA를 병합한 standalone
BF16 모델입니다. pristine Base가 아니라 이미 한 번 SFT된 최고 제출 모델을
base로 삼아 추가 학습한 결과물입니다.
v_proj,o_proj / q_proj,v_proj 두 module 조합과 1e-6/5e-6/1e-5/3e-5 네
학습률을 같은 데이터·같은 32 step·같은 r=4/alpha=8 조건에서 대조한 sweep 중
하나입니다. 같은 조건에서 q_proj,v_proj와 v_proj,o_proj(lr=1e-6)는 출력이
Minimal SFT와 96~99% 동일했고 목표 축(CLIcK)이 오히려 소폭 하락했지만, 이
v_proj,o_proj/lr=5e-6 조합만 로컬 5축에서 근소하게 개선됐습니다.
youngseok12/HyperCLOVA-X-SEED-Think-14B-minimal-sft-71875r=4, alpha=8, dropout=0, bias=nonev_proj, o_proj5e-6; scheduler: constant; warmup: 0; weight decay: 01; optimizer steps: 321; gradient accumulation: 16(effective batch 16)1024; packing disabled42/422.6378LoRA adapter를 base 모델에 병합한 standalone BF16 safetensors 모델입니다.
병합 후 전체 텐서 NaN/Inf 검사를 통과했고, 병합본에서 직접 생성한 문법·의료
smoke 문항 모두 정답을 출력했습니다.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "youngseok12/HyperCLOVA-X-SEED-Think-14B-kl-grammar-vo-lr5e-6"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="bfloat16",
device_map="auto",
)
Base 모델과 병합 모델은 NAVER의 HyperCLOVA X SEED 14B Think Model License
Agreement를 따릅니다. LICENSE의 전체 조건과 AI Hub 원천 데이터 이용약관을
확인해야 합니다. 연구·평가용 모델이며, 출력의 정확성을 보장하지 않습니다.
전문적인 판단의 유일한 근거로 사용하지 마십시오.