AX-3.1-Light-success-consolidation-musr-R300

A.X-3.1-Light Success-Consolidation R-300 (single)

이 모델은 skt/A.X-3.1-Light에 R축(MuSR 담당) success-consolidation LoRA를 병합한 BF16 전체 가중치 모델입니다. 같은 개념·같은 데이터로 학습한 3,000행 버전(AX-3.1-Light-success-consolidation-musr-correct_unstable)과 학습 행 수만 300행으로 다른 규모 대조 모델입니다. 연구 및 평가용이며, 생성 결과가 부정확할 수 있으므로 고위험 의사결정의 유일한 근거로 사용해서는 안 됩니다.

Model information

• Base model: skt/A.X-3.1-Light
• Base model revision: 9b41bb2406472634d8812c0b8931fa40fa9a6c3a
• Fine-tuning method: LoRA supervised fine-tuning, merged for inference
• Model format: standalone BF16 safetensors; no separate adapter is required

What this model tests

동일 축·동일 데이터·동일 학습조건에서 학습 행 수만 3,000 → 300으로 축소했을 때 부작용(특히 다른 축의 하락)이 줄어드는지를 보는 규모 대조 실험이다.

Training data

• Source: AI Hub 71568 (경제·스포츠 숫자연산 기계독해) https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=71568
• Selection: base 모델이 자유생성(A)/형식통제(B1)/보기순서변경(C) 세 조건으로 직접 풀어, A는 맞히지만 B1·C 중 하나 이상 실패하는(불안정하게 아는) 문항만 선별
• Target: base가 생성한 근거를 정답-우선 형식으로 정리(정답 선택지 + 근거)
• 정답 위치 균형: ①/②/③/④ 각 75행
• Not used for evaluation: not_for_eval: true, canonical 평가셋과 분리

Training

• Rows: 300 / Epochs: 1 / LR 5e-5 (cosine, warmup 3%) / BF16
• LoRA rank / alpha / dropout: 16 / 32 / 0.05
• Target modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• Training loss: 0.6066
• NaN/Inf sweep on merged weights: pass / 생성 smoke test: pass

Known limitations

300행은 optimizer step이 19개뿐이라 개입 강도가 3,000행 버전보다 훨씬 약하다 (final loss 0.6066 vs 0.2459). 3,000행 버전의 실제 K-AI 결과는 0.4026으로 base 0.4230 대비 하락이었으며, 이 모델이 그 하락을 줄이는지는 실제 리더보드 결과로만 확인할 수 있다.