Downloads · 30 days
25
27% of all-time downloads
Bretagne/whisper-large-v3-turbo-audio_breton-transcription_francais
whisper-large-v3-turbo-audio_breton-transcription_francais is a automatic speech recognition model from Bretagne. Use it when you need speech turned into text.
whisper-large-v3-turbo de Radford et al. (2022) entraîné sur la tâche de traduction (i.e. audio en breton et transcription en français).
Downloads · 30 days
25
27% of all-time downloads
All-time downloads
92
Public
Parameters
809M
9.7 GB on disk
Likes
1
Public
Click a slice to open those files.
.pt6.5 GB · 67%
From the Hugging Face model README
whisper-large-v3-turbo de Radford et al. (2022) entraîné sur la tâche de traduction (i.e. audio en breton et transcription en français).
[!CAUTION] Ce modèle n'a aucune prétention particulière et doit être vu comme une expérience/une V0 pour établir une baseline.
Disposant d'une A100 pour un week-end, j'ai voulu en profiter en regardant ce que pouvait donner un whisper entraîné sur une tâche de traduction pendant une quinzaine d'heures.
Ce modèle semble nettement moins bons que sa version audio breton / transcription breton.
L'idée était de faire la même chose que pour Bretagne/whisper-large-v3-turbo-audio_breton-transcription_breton mais au lieu de faire de la transcription, entraîner le modèle sur la tâche de traduction possible avec le whisper.
Il s'agit des mêmes données (i.e. la collection dont le breton a été traduit avec Google Translate) que le modèle a vues sur 5 epochs.
from datasets import load_dataset
yodas = load_dataset("Bretagne/yodas_br")
yodas = yodas.cast_column("audio", Audio(sampling_rate=16000))
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
processor = AutoProcessor.from_pretrained("Bretagne/whisper-large-v3-turbo-audio_breton-transcription_francais")
pipe = pipeline(
"automatic-speech-recognition",
model="Bretagne/whisper-large-v3-turbo-breton",
tokenizer=processor.tokenizer,
feature_extractor=processor.feature_extractor
)
pipe.model.generation_config.language = "french"
pipe.model.generation_config.task = "translate"
pipe.model.generation_config.forced_decoder_ids = None
n = 800
audio_input = yodas["train"][n]["audio"]["array"]
result = pipe(audio_input)
transcription = result["text"]
Comme indiqué, il s'agit d'un premier test pouvant être considéré comme une baseline à améliorer par la suite.
Des idées en vracs :
Les émissions de carbone ont été estimées à l'aide de l'outil Machine Learning Impact calculator de Lacoste et al. (2019) en utilisant comme hardware une A100 PCIe 40/80GB pendant 15h 58min à 0,020kg (d'après electricitymaps lors de la période de l'entrainement).
En résulte une estimation (Consommation d'énergie x Temps x Carbone produit en fonction de l'emplacement du réseau électrique) à 80g eq. CO2 pour ce finetuning.