whisper-medium-finetuned

Whisper-medium-finetuned — Robustesse aux perturbations acoustiques

Version fine-tunée de openai/whisper-medium pour améliorer la robustesse face aux perturbations acoustiques (réverbération, bruit additif).

🎯 Description

Ce modèle a été fine-tuné sur 1800 échantillons ciblés pour corriger les hallucinations et améliorer la robustesse de whisper-medium face aux :

• Reverb (room scale 0.5 et 0.3)
• White noise (SNR 5 dB)

Le fine-tuning ciblé a permis de réduire le WER de 70 % sur ces conditions difficiles, sans dégrader les performances baseline.

📊 Performances

Sur données propres (FLEURS, non augmentées)

Sur les hallucinations "Merci."

Comparaison avec whisper-large-v3

Le modèle fine-tuné est le meilleur compromis performance/fiabilité.

🚀 Utilisation

from transformers import WhisperProcessor, WhisperForConditionalGeneration
import soundfile as sf
import librosa

# Charger le modèle
processor = WhisperProcessor.from_pretrained("safaewardi/whisper-medium-finetuned")
model = WhisperForConditionalGeneration.from_pretrained("safaewardi/whisper-medium-finetuned")

# Charger un audio
audio, sr = sf.read("audio.wav")
if audio.ndim > 1:
    audio = audio.mean(axis=1)
if sr != 16000:
    audio = librosa.resample(audio.astype("float32"), orig_sr=sr, target_sr=16000)

# Transcrire
inputs = processor(audio, sampling_rate=16000, return_tensors="pt")
with torch.no_grad():
    ids = model.generate(**inputs, language="fr", task="transcribe", max_new_tokens=225)

transcription = processor.batch_decode(ids, skip_special_tokens=True)[0]
print(transcription)

🎓 Entraînement

Dataset

• Source : FLEURS (Google)
• Taille : 1800 échantillons ciblés
• Distribution :
  • 30 % FR + reverb 0.5
  • 20 % FR + white_noise 5.0
  • 20 % EN + white_noise 5.0
  • 15 % EN + reverb 0.3
  • 15 % AR + white_noise 5.0

Hyperparamètres

📚 Documentation

• Rapport scientifique : docs/rapport_final.md
• Code source : github.com/WardiSafae/speech-llm-robustness
• Paradoxe large-v3 : docs/hallucination_paradox.md

📝 Citation

@misc{wardi2026whisper,
  title={Robustesse des Speech-LLMs face aux perturbations acoustiques et aux variations linguistiques},
  author={Wardi, Safae},
  year={2026},
  howpublished={\url{https://github.com/WardiSafae/speech-llm-robustness}}
}

⚠️ Limitations

• Fine-tuné sur reverb et white_noise uniquement (pas de speed/clipping)
• Dataset FLEURS limité (100 échantillons/langue)
• Full fine-tuning (pas de LoRA)
• Entraîné sur T4 (pas de GPU haute performance)

🙏 Remerciements

• OpenAI pour Whisper
• Google pour FLEURS
• Hugging Face pour Transformers

---

Auteur : Safae Wardi — Master Big Data et Systèmes Intelligents, USMBA Fès