whisper-tiny-oilgas-russian

Whisper Tiny Fine-tuned для нефтегазовой отрасли

Описание

Дообученная модель Whisper Tiny для распознавания речи на русском языке с акцентом на нефтегазовую терминологию.

Обучение

• Базовая модель: openai/whisper-tiny
• Датасет: 480 аудиопримеров нефтегазовой тематики
• Эпохи: 16.6 (лучший чекпоинт на шаге 250)
• Аугментация: шум, изменение скорости, pitch shift, reverberation

Результаты

• Overall WER: 45.08% (улучшение на 4.64% относительно baseline)
• Domain Terms Accuracy: 57.15% (улучшение на 18.58%)
• Normal Words Accuracy: 72.64% (улучшение на 3.58%)

Использование

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import librosa

processor = WhisperProcessor.from_pretrained("ТВОЙ_USERNAME/whisper-tiny-oilgas-russian")
model = WhisperForConditionalGeneration.from_pretrained("ТВОЙ_USERNAME/whisper-tiny-oilgas-russian")

audio, sr = librosa.load("audio.wav", sr=16000)
inputs = processor(audio, sampling_rate=16000, return_tensors="pt")

generated_ids = model.generate(inputs.input_features, language="russian", task="transcribe")
transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

Авторы

Провоторов Н. Р. ([email protected], @prog_by_onion, https://vk.com/progbyonion)