Downloads · 30 days
30
47% of all-time downloads
Holy-fox/kotoba-whisper-v2.0-ja-personal-sft-v2
kotoba-whisper-v2.0-ja-personal-sft-v2 is a automatic speech recognition model from Holy-fox. Use it when you need speech turned into text. It is set up for transformers. The card lists the license as apache-2.0.
kotoba-tech/kotoba-whisper-v2.0 を、日本語の音声入力(LLMへのプロンプト発話)へ LoRA SFT で適応させたモデルです。話者の発音・言い回しと、AI/LLM 関連の専門用語・表記に合わせています。LoRA はベースへマージ済みで、そのまま WhisperForConditionalGeneration として読み込めます。
Downloads · 30 days
30
47% of all-time downloads
All-time downloads
64
Public
Parameters
756M
3 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors3 GB · 100%
From the Hugging Face model README
kotoba-tech/kotoba-whisper-v2.0 を、日本語の音声入力(LLMへのプロンプト発話)へ LoRA SFT で適応させたモデルです。話者の発音・言い回しと、AI/LLM 関連の専門用語・表記に合わせています。LoRA はベースへマージ済みで、そのまま WhisperForConditionalGeneration として読み込めます。
whisper.cpp / ggml 版: Holy-fox/kotoba-whisper-v2.0-ja-personal-sft-v2-ggml
1名の話者が Mac / iPhone / iPad で録音した、LLM への音声入力 約2.5時間を素材にしています。Silero VAD で 30 秒以内に分割して 16 kHz モノラルへ統一し、うち 272 セグメント(約66分)を学習に使いました。転記は人手ではなく、音声対応 LLM に同一音声から複数候補を作らせ、別の審査 LLM が音声を聴いて1つを選ぶ自動疑似ラベルです。汎用の日本語ASRではなく、口語のままの言い回しと、AI/LLM 系の用語・英字略語が混ざる話し方に合わせています。
Claude→クロード、Whisper→ウィスパー、ChatGPT→チャットGPT)。文脈から製品名を推測して補うことはせず、その発音が実際に聞こえたときだけ適用します。短音声 83 セグメントでの文字誤り率。content CER は表記ゆれ(Anthropic↔アンソロピック など)を正規化した後の内容CERです。
| モデル | exact CER | content CER |
|---|---|---|
kotoba-tech/kotoba-whisper-v2.0 | 31.03% | 23.55% |
| このモデル | 30.16% | 26.91% |
| このモデル(ggml Q4_0) | 22.91% | 19.15% |
| このモデル(ggml Q5_0) | 26.03% | 22.61% |
特定話者・特定ドメインへの適応モデルです。他の話者や一般的な日本語音声では、ベースの Whisper のほうが良い結果になる場合があります。同じデータで学習した Whisper large-v3-turbo 版 のほうが全体に良い数値です。
import torch, librosa
from transformers import WhisperForConditionalGeneration, WhisperProcessor
model_id = "Holy-fox/kotoba-whisper-v2.0-ja-personal-sft-v2"
processor = WhisperProcessor.from_pretrained(model_id)
model = WhisperForConditionalGeneration.from_pretrained(
model_id, dtype=torch.float16
).to("cuda").eval()
audio, _ = librosa.load("recording.wav", sr=16_000, mono=True)
features = processor.feature_extractor(audio, sampling_rate=16_000, return_tensors="pt")
ids = model.generate(
features.input_features.to("cuda", torch.float16),
language="ja", task="transcribe", num_beams=5,
)
print(processor.tokenizer.decode(ids[0], skip_special_tokens=True))
学習は 30 秒以内のセグメントで行っています。Kotoba Whisper v2.0 はデコーダが 2 層の蒸留モデルで長時間音声に弱いため、長い録音は VAD で 30 秒以内に分割し、チャンクごとに文脈をリセットして時刻順に連結してください。
ベースモデルの Apache-2.0 を継承します。