Whisper_FineTuning_Ko_Stagewise

Whisper Fine-Tuning Korean Stagewise

한국어 전화 음성 인식을 위해 openai/whisper-base를 단계적으로 파인튜닝한 음성 인식 모델입니다. 먼저 저음질 전화망 음성에 적응시킨 뒤, 상담 분야 음성으로 추가 학습해 전화 음질과 상담 도메인을 순서대로 반영했습니다.

모델 개요

• 기반 모델: openai/whisper-base
• 작업: 한국어 음성을 텍스트로 변환하는 자동 음성 인식(ASR)
• 학습 방식: 저음질 전화 음성에 대한 1차 파인튜닝 후 상담 음성에 대한 2차 파인튜닝
• 모델 크기: 약 72.6M 파라미터

학습 데이터와 절차

두 단계의 파인튜닝을 수행했습니다.

1. 1차 도메인 적응: AI Hub의 저음질 전화망 음성인식 데이터를 사용했습니다. 프로젝트에서 사용한 전처리 데이터는 총 39,916건이며, 공개된 전처리 데이터셋의 분할도 train 31,932건, validation 3,992건, test 3,992건으로 합계가 일치합니다.
2. 2차 도메인 적응: AI Hub의 복지 분야 콜센터 상담데이터 중 자살 상담 데이터만 선별해 사용했습니다. 프로젝트 기록상 사용한 분량은 약 28,310건입니다. AI Hub 원본 데이터에는 여러 복지 상담 분야가 포함되지만, 이 단계에서는 자살 상담 데이터만 사용했습니다.

첫 단계에서 전화 음질 특성에 적응하고, 다음 단계에서 복지 상담 도메인의 발화 표현을 반영하도록 구성했습니다.

사용 예시

from transformers import pipeline

model_id = "YongJaeLee/Whisper_FineTuning_Ko_Stagewise"
asr = pipeline("automatic-speech-recognition", model=model_id)

result = asr(
    "sample.wav",
    generate_kwargs={"language": "korean", "task": "transcribe"},
)
print(result["text"])

오디오 파일의 샘플레이트와 채널 수를 확인하고, 실제 적용 환경에서 먼저 짧은 샘플로 결과를 점검하세요.

의도한 사용

한국어 전화 음성의 전사와 음성 인식 연구·실험을 위한 모델입니다. 상담 기록 초안 작성이나 음성 인식 파이프라인의 프로토타이핑에 사용할 수 있으며, 중요한 기록은 원음과 대조해 사람이 확인해야 합니다.

한계와 주의사항

• 잡음, 낮은 음량, 겹쳐 말하기, 지역·개인별 발음 차이, 고유명사와 도메인 용어에 따라 전사 오류가 발생할 수 있습니다.
• 이 모델은 음성을 텍스트로 바꾸는 ASR 모델입니다. 자살 위험도 판정, 진단, 상담 권고 또는 긴급 대응을 수행하지 않습니다.
• 전사 결과를 사람의 안전이나 복지에 관한 판단에 단독으로 사용하지 마세요. 해당 판단에는 적절한 전문가의 검토가 필요합니다.
• 상담 음성은 민감한 정보일 수 있습니다. 데이터를 처리하기 전에 동의, 접근 권한, 보관 및 삭제 정책을 확인하고 관련 법령과 기관 정책을 준수하세요.

평가

프로젝트에서는 한국어 음성 인식 성능을 CER(Character Error Rate) 중심으로 평가했습니다. 이 카드에는 재현 가능한 평가 데이터, 평가 스크립트 및 결과가 함께 공개되지 않아 수치 성능은 기재하지 않습니다. 실제 사용 전 대상 환경과 데이터로 별도 평가하는 것을 권장합니다.

라이선스와 데이터 출처 표기

이 파인튜닝 모델은 Apache-2.0으로 배포합니다. 기반 모델인 openai/whisper-base도 Apache-2.0을 따릅니다.

학습에는 AI Hub의 저음질 전화망 음성인식 데이터와 **복지 분야 콜센터 상담데이터(자살 상담 하위 데이터)**를 사용했습니다. AI Hub FAQ는 AI Hub 데이터를 학습해 만든 모델 등 2차 저작물을 영리·비영리 목적으로 활용·판매·배포할 수 있다고 안내하며, 데이터셋의 정식 명칭과 AI Hub 출처 표기를 요구합니다. 원본 데이터와 단순 가공본은 이 모델 저장소에 포함하지 않습니다.

AI Hub 데이터 활용 안내: 저음질 전화망 음성인식 데이터, 복지 분야 콜센터 상담데이터. AI Hub의 배포 구분은 데이터 이용정책 FAQ를 참고하세요.