EXAONE-Deep-7.8B-sft_v0_2

EXAONE-Deep-7.8B-sft_v0_2 (동전)

LGAI-EXAONE/EXAONE-Deep-7.8B를 기반으로, AI Hub 한국어 데이터를 활용해 K-AI 리더보드 5개 벤치마크 (KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(Ko))와 유사한 자체 proxy 벤치마크에서 진단한 출력 형식 결손과 Com2-main(Ko) 축의 인과관계 추론 콘텐츠 결손을 함께 교정하기 위해 LoRA 파인튜닝 후 병합한 모델입니다.

• 베이스 모델: LGAI-EXAONE/EXAONE-Deep-7.8B
• AI Hub 데이터 활용: 예
  • 71857 국어 교과 지문형 문제 데이터 (CLIcK 축)
  • 71874 전문 의학지식 데이터 (KMMLU 축)
  • 71610 금융, 법률 문서 기계독해 데이터 (HLE 축)
  • 569 행정 문서 대상 기계독해 데이터 (MuSR 축)
  • 71949 인과관계 기반 추론 데이터(업사이클링) (Com2-main 축)
• 주요 학습 방법:
  • proxy benchmark 5축 1,350문항 기반 실패 진단(자유생성 A / 강제생성 B1 / 우도비교 B2 / 근거주입 C_evidence / 근거+우도 C2 5단계 probe)으로 축별 결손 유형을 형식결손/지식결손/추론결손으로 분류
  • 형식결손이 압도적인 KMMLU/CLIcK/HLE/MuSR 축에는 "간단한 근거 + 정답: <A/B/C/D>" 형식 학습
  • Com2-main 축은 우도(B2) 기준 우연 수준(0.244)의 진짜 콘텐츠 결손으로 확인되어, 인과관계 추론 서술(cot_step 기반) 데이터를 2배 가중해 별도로 추가 학습
  • LoRA r=16, alpha=32, 2 epoch, 5,801 examples
• 모델의 목적: 5개 벤치마크 축 전반의 출력 형식 안정화 + Com2-main(Ko) 축의 실질적 인과관계 추론 능력 보강
• 구조 변경: 없음 (LoRA adapter를 base model에 병합한 표준 EXAONE-Deep-7.8B 아키텍처, 모델 자체의 custom modeling_exaone.py는 원본 그대로 사용)

자체 Proxy 벤치마크 결과 (참고용, K-AI 공식 점수 아님)

무작위 sampling 5축 1,350문항 (KMMLU-Lite 300 / CLIcK-Lite 300 / HLE-Lite 200 / MuSR-Lite 300 / Com2-main-Lite 250) 기준, 베이스 대비:

참고: Com2-main-Lite 축의 자체 proxy 문항은 정답 외 3개 오답 선택지를 같은 추론 유형 내 다른 문항의 정답 텍스트를 교차 샘플링해 합성한 것으로(원본 AI Hub 벤치마크의 실제 선택지는 이미지 기반), 네이티브 4지선다가 아님. 절대 정확도 수치는 참고용으로만 해석할 것.

사용 데이터셋 명시

AI Hub: 71857/71874/71610/569/71949의 validation label 중 최종 proxy 벤치마크로 표본 추출되지 않은 문서-안전(document-safe) 잔여분만 학습에 사용함.