kotoba-whisper-v2.1-mlx-fp32

Kotoba-Whisper v2.1 (MLX fp32)

这是 kotoba-tech/kotoba-whisper-v2.1 的 MLX 格式转换版本,专为 Apple Silicon (M1/M2/M3/M4) 上的 MLX 推理优化。

精度:fp32(未压缩) · 大小:2.8 GB · 加载时间:~1.0秒

与原版的区别

权重数值精度与原版相同,本仓库仅做字段映射(HF→MLX)和精度转换。

精度版本

按磁盘空间 / 准确度平衡,本模型有多个精度版本:

安装

pip install mlx-whisper

使用方法

CLI 转写

mlx_whisper --model enet45/kotoba-whisper-v2.1-mlx-fp32 \
    --language ja \
    --task transcribe \
    --output-format srt \
    /path/to/your/audio.wav

输出格式可选:txt / srt / vtt / json / tsv / all(全部生成)。

Python API

from mlx_whisper import transcribe

result = transcribe(
    "/path/to/audio.wav",
    path_or_hf_repo="enet45/kotoba-whisper-v2.1-mlx-fp32",
    language="ja",
    task="transcribe",
)

print(result["text"])

# 带时间戳的分段
for seg in result["segments"]:
    print(f"[{seg['start']:.1f}s - {seg['end']:.1f}s] {seg['text']}")

模型详情

• 基础模型:kotoba-tech/kotoba-whisper-v2.1(基于 OpenAI whisper-large-v3 微调)
• 参数量:1.55B
• 训练数据:ReazonSpeech + Extended Common Voice + YouTube CC 等日语数据(1000+ 小时)
• 原始架构:OpenAI Whisper encoder-decoder
• MLX 转换:使用 mlx-examples 的 convert.py,自动应用 HF→MLX 字段映射
• 许可证:Apache 2.0(可商用,继承自原模型)

性能基准

参考 kotoba-tech/kotoba-whisper-v2.1 模型卡:

• 在 Common Voice JA 7.0/8.0、CSJ (Corpus of Spontaneous Japanese) 等日语基准上优于 OpenAI Whisper-large-v3
• 加标点支持(punctuation-aware output)

限制

• ❌ 仅支持 Apple Silicon Mac(M1 及以上)。Intel Mac 或其他平台请使用 原版 PyTorch 模型
• ⚠️ 长音频(>30 分钟)处理可能占用较多内存

引用

@misc{kotoba-whisper-v2.1,
  title={Kotoba-Whisper},
  author={Kotoba Technologies},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/kotoba-tech/kotoba-whisper-v2.1}
}

本仓库维护者

enet45 · 基于 kotoba-tech 的开源工作