whisper-large-v2-rora025-ct2

whisper-large-v2 + child RoRA (scale 0.25) — CTranslate2

한국어 아동 음성 인식용. openai/whisper-large-v2 에 haseong8012/whisper-large-v2_child-50k_RoRA 어댑터를 scale 0.25 로 병합한 뒤 CTranslate2(float16)로 변환한 것.

faster-whisper 로 바로 로드된다:

from faster_whisper import WhisperModel
model = WhisperModel("mjwoon/whisper-large-v2-rora025-ct2",
                     device="cuda", compute_type="float16")

왜 0.25 인가

배포된 어댑터는 alpha/r = 64/32 = 2.0 으로 강하게 잡혀 있다. 그 세기로는 학습 대본 (고유 2,992 문장) 암기가 지배해 베이스보다 나빠진다. 배율 스윕에서 0.25 가 골짜기다:

병합 시 LoraLayer.scaling 에 배율을 곱한다 — merge 가 델타를 B@A*scaling 으로 계산하므로 줄인 scaling 이 그대로 가중치에 흡수된다.

성능

AI Hub 아동 음성, CER, Whisper BasicTextNormalizer 적용 후, bootstrap 1000회 95% CI. 비교 대상은 Systran/faster-whisper-large-v3.

저연령에서만 유의하게 낫다. CI 폭도 중요하다 — large-v3 는 [10.02, 34.20] 으로 화자마다 결과가 요동치는데 이 모델은 [9.32, 13.78] 로 안정적이다. 반면 7~10세 위주 시험지에서는 차이가 확인되지 않았다.

주의 — WER 로 고르지 말 것

같은 시험지에서 WER 만 보면 이 모델이 크게 이기는 것처럼 보이는데(21.47% → 10.64%), 그 이득의 대부분은 AI Hub 코퍼스의 띄어쓰기 관습(알려줘→알려 줘)을 외운 결과다. 두 모델 출력이 '공백을 빼면 같은' 발화가 100건 중 82건이었다. 한국어 아동 음성 비교는 CER 또는 띄어쓰기 보정 WER 로 해야 한다.

재현

python3 make_ct2_lora.py \
  --base openai/whisper-large-v2 \
  --adapter haseong8012/whisper-large-v2_child-50k_RoRA \
  --scale 0.25 \
  --out v2-rora025-ct2

병합 방식은 서빙측(engine/service/whisper/engine.py 의 _apply_lora)과 동일해야 비교가 성립한다.

한계

• 낭독·명령어 코퍼스로만 평가했다. 고유명사·코드스위칭·비유창성이 거의 없는 시험지라, 대화형 제품의 실제 입력을 대표하지 않는다.
• CTranslate2 변환본과 transformers 런타임 LoRA 를 직접 맞붙인 적은 없다. 병합 방식이 같아 동등할 것으로 보나 float16 변환에서 미세한 차이는 있을 수 있다.