Downloads · 30 days
14
3% of all-time downloads
jwg0830/kanana-1.5-15.7b-a3b-instruct-sft_v0_2
kanana-1.5-15.7b-a3b-instruct-sft_v0_2 is a text generation model from jwg0830. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as other.
kakaocorp/kanana-1.5-15.7b-a3b-instruct(Mixtral 기반 MoE)를 기반으로, AI Hub 한국어 데이터를 활용해 K-AI 리더보드 5개 벤치마크(KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(Ko)) 전체 대응 proxy benchmark에서 진단한 출력 형식 결손을 교정하기 위해 LoRA 파인튜닝 후 병합…
Downloads · 30 days
14
3% of all-time downloads
All-time downloads
520
Public
Parameters
15.7B
31.4 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors31.4 GB · 100%
From the Hugging Face model README
kakaocorp/kanana-1.5-15.7b-a3b-instruct(Mixtral 기반 MoE)를 기반으로, AI Hub 한국어 데이터를
활용해 K-AI 리더보드 5개 벤치마크(KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(Ko))
전체 대응 proxy benchmark에서 진단한 출력 형식 결손을 교정하기 위해 LoRA 파인튜닝 후 병합한
모델입니다. AX-3.1-Light-sft_v0_2, EXAONE-Deep-7.8B-sft_v0_2와 동일한 학습 데이터
(format_sft_v0_2.jsonl)를 사용했습니다.
kakaocorp/kanana-1.5-15.7b-a3b-instruct (Mixtral 아키텍처, MoE)71857 국어 교과 지문형 문제 데이터 (CLIcK 축)71874 전문 의학지식 데이터 (KMMLU 축)71610 금융, 법률 문서 기계독해 데이터 (HLE 축)569 행정 문서 대상 기계독해 데이터 (MuSR 축)71949 인과관계 기반 추론 데이터(업사이클링) (Com2-main 축)5축 1,350문항 (KMMLU-Lite 300 / CLIcK-Lite 300 / HLE-Lite 200 / MuSR-Lite 300 / Com2-main-Lite 250) 기준, 베이스 대비:
| Axis | Base 안정정답 | sft_v0_2 안정정답 |
|---|---|---|
| KMMLU-Lite | 213/300 | 216/300 |
| CLIcK-Lite | 268/300 | 275/300 |
| HLE-Lite | 181/200 | 190/200 |
| MuSR-Lite | 278/300 | 282/300 |
| Com2-main-Lite | 197/250 | 245/250 |
| 합계 | 1,137/1,350 (84.3%) | 1,208/1,350 (89.5%) |
Com2-main-Lite 축에서 가장 큰 폭으로 개선됨(197→245). 참고: 이 축의 자체 proxy 오답 선택지는 같은 추론 유형 내 다른 문항의 정답 텍스트를 교차 샘플링해 합성한 것으로(원본 AI Hub 벤치마크의 실제 선택지는 이미지 기반), 네이티브 4지선다가 아닙니다. 절대 정확도 수치는 참고용으로만 해석할 것.
AI Hub: 71857/71874/71610/569/71949의 validation label 중 최종 proxy 벤치마크로 표본 추출되지 않은 문서-안전(document-safe) 잔여분만 학습에 사용함.