ghost613-turbo-korean-4bit-mlx

Whisper Large-v3-Turbo Korean — MLX 4bit

한국어 음성 인식을 위한 Whisper Large-v3-Turbo fine-tune 모델을 Apple MLX 프레임워크용으로 4bit 양자화한 버전입니다.

원본: ghost613/whisper-large-v3-turbo-korean (Whisper Large-v3-Turbo를 Zeroth Korean 데이터셋으로 fine-tune)

요약

• 베이스: Whisper Large-v3-Turbo (809M 파라미터, 4 text layers)
• Fine-tune: Zeroth Korean ASR corpus
• 양자화: 4bit (group size 64), mlx-examples/whisper/convert.py 사용
• 디스크 크기: 884 MB (원본 fp16 3GB 대비 약 70% 감소)
• 추론 RAM: ~1.31 GB
• 프레임워크: Apple MLX (Apple Silicon 전용)

한국어 성능 (Zeroth Korean test split)

Large-v3-Turbo 아키텍처 특성상 seastar medium(4bit)과 유사한 정확도를 유지하면서 디코딩 레이어가 얕아(4 layers) 첫 토큰 지연이 짧습니다. 속도 우선 시나리오에 적합합니다.

사용법

1) mlx-whisper 직접 호출

pip install mlx-whisper

import mlx_whisper

result = mlx_whisper.transcribe(
    "audio.wav",
    path_or_hf_repo="youngouk/ghost613-turbo-korean-4bit-mlx",
    language="ko",
    word_timestamps=True,
)
print(result["text"])

2) meeting-transcriber 앱에서 사용

meeting-transcriber는 이 모델을 "속도 우선" 선택지로 제공하는 macOS 로컬 회의 전사 앱입니다.

웹 UI에서 설정 → 음성 인식 모델 (STT) → ghost613 turbo-korean (4bit)를 선택하면 자동 다운로드 및 활성화됩니다.

파일 구성

config.json              # MLX Whisper 모델 설정 (양자화 파라미터 포함)
weights.safetensors      # 4bit 양자화된 가중치 (~440MB)

mlx-whisper 런타임이 위 두 파일을 path_or_hf_repo= 인자로 바로 로드합니다. 토크나이저는 mlx-whisper가 내장한 multilingual vocab을 사용하므로 별도 파일 불필요.

양자화 파라미터

{
  "quantization": {
    "bits": 4,
    "group_size": 64
  }
}

재현 커맨드:

python mlx-examples/whisper/convert.py \
  --torch-name-or-path ghost613/whisper-large-v3-turbo-korean \
  --mlx-path ./ghost613-turbo-korean-4bit \
  -q --q-bits 4 --q-group-size 64

라이선스

Apache License 2.0 — 원본 라이선스를 그대로 승계합니다.

제한 사항

• Apple Silicon 전용: MLX 프레임워크는 x86 CPU / CUDA에서 동작하지 않습니다. Intel Mac / Linux / Windows 사용자는 원본 ghost613/whisper-large-v3-turbo-korean를 사용하세요.
• 한국어 특화: Zeroth Korean 데이터셋으로 fine-tune되어 한국어 외 언어 성능은 베이스 Whisper Large-v3-Turbo보다 낮을 수 있습니다.
• 4bit 양자화 특성: 매우 드물게 희귀 어휘에서 원본 fp16보다 약간 낮은 정확도를 보일 수 있습니다 (측정된 CER/WER 차이는 무시 가능한 수준).

출처 · 인용

• 원본 Whisper: OpenAI
• Large-v3-Turbo: OpenAI
• 한국어 fine-tune: ghost613/whisper-large-v3-turbo-korean
• 양자화 도구: mlx-examples/whisper
• 재배포: youngouk for meeting-transcriber