AWAXIS-Hybrid-28B

AWAXIS-Hybrid-28B

AWAXIS-Think × Darwin Platform Hybrid 모델

AWAXIS-Think-28B를 기반으로 Darwin Platform 한국어 가중치를 Smart MRI Layer-wise 머지로 결합한 한국어 LLM입니다.

본 모델은 Anserwise에서 제작·공개한 한국어 LLM입니다.

• 🧬 아버지: Anserwise/AWAXIS-Think-28B
• 🧬 어머니: FINAL-Bench/Darwin-28B-KR

---

🧬 모델 설명 — 부모 모델 교배·진화 (Darwin 방식)

본 모델은 두 부모 LLM의 가중치를 layer 단위로 교배·결합하는 Darwin Platform 진화적 머지 기법 (Smart MRI Layer-wise)으로 제작됐습니다. 일반 SFT/CPT 학습이 아닌 가중치 합성 진화 방식이라는 점이 핵심입니다.

각 부모의 강점이 어느 layer에 저장되는지 분석한 후 layer-wise로 부모 가중치 비율을 다르게 적용하여 두 모델의 강점만 선택적으로 결합하는 방식입니다.

📚 데이터셋 활용

본 모델은 가중치 머지(Weight Merge) 산물이므로 추가 SFT/CPT 학습은 수행하지 않았습니다. 대신 두 부모 모델이 사전에 학습한 광범위한 한국어 데이터셋의 강점을 layer 단위로 흡수합니다. 부모 모델들이 학습한 주요 한국어 데이터셋은 다음과 같습니다:

• 일반 Instruction: kai-sft / kai-combined 시리즈 (한국어 다양 도메인 instruction-following)
• KMMLU-Pro: 한국 도메인 지식 (역사·법률·의료·과학·공학 등)
• CLIcK: 한국 문화·상식 (역사·전통·사회 규범)
• HAERAE: 한국어 표면 패턴 (언어학·일반상식·역사)
• KOBEST: 한국어 reasoning (HellaSwag·COPA·BoolQ)
• Com2-main(ko): 한국어 commonsense (사회적 추론·의도 파악)
• MuSR(Ko): 한국어 다단계 추론 (Murder Mystery·Object Placements 등)

가중치 머지 단계에서 각 부모의 학습 결과를 layer 비율로 보존·결합하여, 단일 SFT보다 catastrophic forgetting 위험이 낮고 부모 강점 손실이 적은 것이 특징입니다.

---

📊 평가 결과

1) K-AI 리더보드 기준 (5과목)

KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(ko)

• 외부 모델: K-AI 리더보드(leaderboard.aihub.or.kr) 실측값
• 본 시리즈: 자체 mirror eval(100문항) × Rogue-28B-MIX 기준 ratio 환산 추정값

HLE(Ko)는 28B급 공통 약점 (난이도 매우 높음).

2) 종합 한국어 능력 (10과목 mirror eval)

CLIcK + KMMLU(history/law/health) + HAERAE(gk/hist/ling) + KOBEST(hella/copa/boolq)

---

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Hybrid-28B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Hybrid-28B",
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "한국 역사에서 임진왜란이 발생한 시기는?"}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
outputs = model.generate(inputs, max_new_tokens=256, temperature=0.0)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

라이선스

Apache 2.0 (부모 모델 라이선스 계승)

---

2026-04-30

학습 데이터셋

AI Hub(과학기술정보통신부 산하 NIA 운영) 공개 한국어 말뭉치를 활용하여 학습하였습니다.

한국어 대화 데이터셋 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=272

대규모 웹데이터 기반 한국어 말뭉치 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=624

멀티세션·대화 관련 말뭉치 데이터 https://aihub.or.kr/aihubdata/data/view.do?currMenu=511&topMenu=100&aihubDataSe=dataPckage&dataPckageSn=1

한국어 생성 기반 상식추론 데이터셋 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=459

전문 의학지식 데이터 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=71874

의료·법률 전문 서적 말뭉치 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=71487