Downloads · 30 days
17
18% of all-time downloads
Holy-fox/whisper-large-v3-turbo-ja-personal-sft-v2
whisper-large-v3-turbo-ja-personal-sft-v2 is a automatic speech recognition model from Holy-fox. Use it when you need speech turned into text. It is set up for transformers. The card lists the license as apache-2.0.
openai/whisper-large-v3-turbo を、日本語の音声入力(LLMへのプロンプト発話)へ LoRA SFT で適応させたモデルです。話者の発音・言い回しと、AI/LLM 関連の専門用語・表記に合わせています。LoRA はベースへマージ済みで、そのまま WhisperForConditionalGeneration として読み込めます。
Downloads · 30 days
17
18% of all-time downloads
All-time downloads
93
Public
Parameters
809M
3.2 GB on disk
Likes
1
Public
Click a slice to open those files.
.safetensors3.2 GB · 100%
From the Hugging Face model README
openai/whisper-large-v3-turbo を、日本語の音声入力(LLMへのプロンプト発話)へ LoRA SFT で適応させたモデルです。話者の発音・言い回しと、AI/LLM 関連の専門用語・表記に合わせています。LoRA はベースへマージ済みで、そのまま WhisperForConditionalGeneration として読み込めます。
whisper.cpp / ggml 版: Holy-fox/whisper-large-v3-turbo-ja-personal-sft-v2-ggml
1名の話者が Mac / iPhone / iPad で録音した、LLM への音声入力 約2.5時間を素材にしています。Silero VAD で 30 秒以内に分割して 16 kHz モノラルへ統一し、うち 272 セグメント(約66分)を学習に使いました。転記は人手ではなく、音声対応 LLM に同一音声から複数候補を作らせ、別の審査 LLM が音声を聴いて1つを選ぶ自動疑似ラベルです。汎用の日本語ASRではなく、口語のままの言い回しと、AI/LLM 系の用語・英字略語が混ざる話し方に合わせています。
Claude→クロード、Whisper→ウィスパー、ChatGPT→チャットGPT)。文脈から製品名を推測して補うことはせず、その発音が実際に聞こえたときだけ適用します。短音声 83 セグメントでの文字誤り率。content CER は表記ゆれ(Anthropic↔アンソロピック など)を正規化した後の内容CERです。
| モデル | exact CER | content CER |
|---|---|---|
openai/whisper-large-v3-turbo | 24.17% | 16.14% |
| このモデル | 8.03% | 5.23% |
特定話者・特定ドメインへの適応モデルです。他の話者や一般的な日本語音声では、ベースの Whisper のほうが良い結果になる場合があります。
import torch, librosa
from transformers import WhisperForConditionalGeneration, WhisperProcessor
model_id = "Holy-fox/whisper-large-v3-turbo-ja-personal-sft-v2"
processor = WhisperProcessor.from_pretrained(model_id)
model = WhisperForConditionalGeneration.from_pretrained(
model_id, dtype=torch.float16
).to("cuda").eval()
audio, _ = librosa.load("recording.wav", sr=16_000, mono=True)
features = processor.feature_extractor(audio, sampling_rate=16_000, return_tensors="pt")
ids = model.generate(
features.input_features.to("cuda", torch.float16),
language="ja", task="transcribe", num_beams=5,
)
print(processor.tokenizer.decode(ids[0], skip_special_tokens=True))
学習は 30 秒以内のセグメントで行っています。長い録音は VAD で 30 秒以内に分割し、チャンクごとに文脈をリセットして時刻順に連結してください。
ベースモデルの Apache-2.0 を継承します。