EXAONE-KLaVA-1.8B

EXAONE-KLaVA-1.8B

한국어 중심 약 1.8B 규모의 소형 비전 언어 모델입니다. 온디바이스(맥북)에서 동작하는 것을 목표로 만들었으며, M1 Air에서 테스트되었습니다.

프로젝트 이름은 KLaVA (Korean Language and Vision Assistant)입니다. 저장소 이름이 EXAONE으로 시작하는 것은 EXAONE 라이선스가 파생 모델의 이름에 요구하는 조건을 지키기 위한 것입니다.

전체 코드와 설계 문서는 github.com/kksoo1769/KAVA에 있습니다.

English summary. A ~1.8B Korean vision language model built on EXAONE-4.0-1.2B and SigLIP2. Distributed under the EXAONE AI Model License Agreement 1.2 - NC, which permits research and educational use only. Commercial use is prohibited. See LICENSE.

구성

시각 토큰 예산은 784이고, 비전 인코더는 가변 해상도(NaFlex)를 지원합니다.

담긴 파일

4비트 변환본은 포함하지 않았습니다. 디코딩은 더 빠르지만 출력에서 한글이 차지하는 비율이 0.91에서 0.07로 무너져 한국어 모델로 쓸 수 없습니다.

사용 방법

이 가중치는 KAVA 저장소의 추론 서버가 읽는 형식입니다.

git clone https://github.com/kksoo1769/KAVA && cd kava && uv sync
hf download PangS00oo/EXAONE-KLaVA-1.8B --local-dir runs/klava_instruct_784_r64/ckpts/fin
uv run uvicorn kava.serving.klava_server:app --port 8001

다른 경로에 받았다면 KLAVA_CKPT로 알려 주면 됩니다. 기본 추론 백엔드는 MLX이고, KLAVA_BACKEND=torch로 PyTorch 경로를 쓸 수 있습니다.

성능

동급 모델 네 개와 12개 벤치마크에서 VLMEvalKit으로 비교했습니다. 객관식 8종은 모두 같은 LLM 판정기를 썼고, 나머지 4종은 규칙 기반으로 채점했습니다.

MME는 원점수 합(만점 2800), POPE는 F1, 나머지는 정확도입니다. Kanana의 GQA 15.4는 단답 형식을 지키지 못해 나온 값이라 해석에서 제외합니다.

강점. 시각 이해를 평가하는 K-SEED 74.0과 관계 추론을 평가하는 GQA 58.9가 비교군에서 상위입니다.

약점. 한국어 문서와 표, 차트를 읽는 K-DTCBench가 44.6으로 낮습니다. KAVA 저장소의 에이전트는 이 약점을 글자 인식 결과를 컨텍스트에 넣는 구조로 보완해 같은 240문항에서 62.1%를 냈습니다. 차트는 그 구조로도 개선되지 않습니다.

학습

A100 40GB 네 장에서 AMP(bf16과 fp32 마스터 파라미터)로 학습했습니다. 2단계 기준 11,410 스텝, 약 32시간입니다.

라이선스와 이용 조건

이 모델은 **EXAONE AI Model License Agreement 1.2 - NC**를 따릅니다. 전문은 저장소의 LICENSE 파일에 있습니다.

• 연구와 교육 목적으로만 사용할 수 있습니다. 상업적 사용은 금지됩니다.
• 이 모델을 수정해 다시 배포하는 경우, 그 이름 역시 EXAONE으로 시작해야 하며 라이선스 사본을 함께 제공해야 합니다.

귀속

• 언어 모델: LGAI-EXAONE/EXAONE-4.0-1.2B, LG AI Research. EXAONE AI Model License Agreement 1.2 - NC.
• 비전 인코더: google/siglip2-so400m-patch16-naflex, Google. Apache-2.0.
• 지시 학습 데이터 일부: KoLLaVA-v1.5-Instruct. LLaVA-1.5 지시 데이터의 한국어 번역본입니다.
• 캡션 데이터: MSCOCO 2014 한국어 캡션.

학습 데이터

한국지능정보사회진흥원 AI Hub의 사업 결과물인 다음 데이터셋을 학습에 사용했습니다. 한국적 영상 이해(71866), 외부 지식 멀티모달 QA(71357), 한국형 GQA(71711), 다중 언어 OCR(71730), 차트 이미지 텍스트(71706), 표 이미지 텍스트(71709), 시각화 자료 QA(71812).

학습 데이터 자체는 어떤 형태로도 배포하지 않습니다. AI Hub 이용정책이 데이터의 제3자 제공을 금지하기 때문입니다. 데이터가 필요하면 AI Hub에서 직접 신청해 주세요.