whisper-large-v2-cantonese-mlx-8bit

whisper-large-v2-cantonese-mlx-8bit

這是 doggy8088/whisper-large-v2-cantonese-mlx 的 8-bit 量化版， 由原始的 MLX fp16 checkpoint 再量化而成，適合在 Apple Silicon 上降低記憶體占用，並作為 fp16 與 4-bit 之間的折衷版本。

量化設定

• bits: 8
• group size: 64
• quantization mode: MLX affine weight-only quantization

使用方式

pip install -U mlx-whisper

CLI：

mlx_whisper audio.wav --model doggy8088/whisper-large-v2-cantonese-mlx-8bit --language zh

Python：

import mlx_whisper

result = mlx_whisper.transcribe(
    "audio.wav",
    path_or_hf_repo="doggy8088/whisper-large-v2-cantonese-mlx-8bit",
    language="zh",
)
print(result["text"])

注意事項

• 建議使用 language="zh"，或省略讓模型自動偵測；不要指定 yue。
• 若你想要最高精度，請改用 fp16 原版：doggy8088/whisper-large-v2-cantonese-mlx
• 若你想要更低記憶體占用，可改用 4-bit 版：doggy8088/whisper-large-v2-cantonese-mlx-4bit