Downloads · 30 days
18
9% of all-time downloads
whisper-base-komixv2-phn
seastar105/whisper-base-komixv2-phn
whisper-base-komixv2-phn is a automatic speech recognition model from seastar105. Use it when you need speech turned into text. It is set up for transformers.
OpenAI의 whisper-base 모델을 아래 데이터셋으로 학습한 모델입니다. phonetic form을 사용하여 학습되었습니다. - 한국어 음성 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=123) - 주소 음성 데이터 (https://www.ai…
All-time downloads
201
Public
Repo size
1.5 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.msgpack290 MB · 99%
At a glance
- Task
- Automatic Speech Recognition
- Library
- transformers
- Model type
- whisper
- Access
- Public
- Created
- Feb 25, 2025
- Updated
- Feb 26, 2025
- SHA
- 333037e4
Model card
From the Hugging Face model README
Model Description
OpenAI의 whisper-base 모델을 아래 데이터셋으로 학습한 모델입니다. phonetic form을 사용하여 학습되었습니다.
- 한국어 음성 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=123)
- 주소 음성 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71556)
- 주요 영역별 회의 음성인식 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=464)
- 저음질 전화망 음성인식 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=571)
- 방송 콘텐츠 대화체 음성인식 데이터 (https://www.aihub.or.kr/aihubdata/data/view.do?dataSetSn=463)
train_steps: 20000
warmup_steps: 2000
lr scheduler: linear warmup cosine decay
max learning rate: 1e-4
batch size: 256
max_grad_norm: 1.0
adamw_beta1: 0.9
adamw_beta2: 0.98
Evaluation
https://github.com/rtzr/Awesome-Korean-Speech-Recognition
위 레포지토리에서 주요 영역별 회의 음성을 제외한 테스트셋 결과입니다. 아래 테이블에서 whisper_base_komixv2_phn가 본 모델 성능입니다.
| Model | cv_15_ko | fleurs_ko | kcall_testset | kconf_test | kcounsel_test | klec_testset | kspon_clean | kspon_other |
|---|---|---|---|---|---|---|---|---|
| whisper_base | 21.16 | 11.89 | 42.56 | 27.62 | 22.24 | 28.65 | 30.41 | 27.02 |
| whisper_base_komix | 15.42 | 7.16 | 20.86 | 14.24 | 12.64 | 13.44 | 12.26 | 12.12 |
| whisper_base_komixv2 | 13.04 | 7.04 | 10.54 | 13.1 | 10.65 | 12.99 | 12.44 | 12.56 |
| whisper_base_komixv2_phn | 12.81 | 8.27 | 9.5 | 13.26 | 11.33 | 14.24 | 13.11 | 13.3 |
| whisper_large_v3 | 5.11 | 3.72 | 5.45 | 9.35 | 3.83 | 8.46 | 15.08 | 12.89 |
| whisper_large_v3_turbo | 5.38 | 3.95 | 5.89 | 9.77 | 4.21 | 9.27 | 16.49 | 13.54 |
Acknowledgement
- 본 모델은 구글의 TRC 프로그램의 지원으로 학습했습니다.
- Research supported with Cloud TPUs from Google's TPU Research Cloud (TRC)
- Task
- Automatic Speech Recognition
- Library
- transformers
- Type
- whisper
- Created
- Feb 25, 2025
- Updated
- Feb 26, 2025