whisper-small-ro

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

Whisper Small Ro - Iazar

O adjustare a modelului openai/whisper-small pe Date audio colectate în cadrul proiectului TekWill. Obține următoarele rezultate pe setul de evaluare:

• Pierdere: 0,8207
• Wer: 46.2651

Descriere

Este un model intenționat pentru transcrierea graiului Moldovenesc în text.

Datele

Pentru antrenarea modelului s-au folosit atît date de la Common Voice, cît și date colectate în cadrul proiectului.

Performanță

Am făcut niște testări pe mai multe modele, ca să observăm dacă există un oarecare progres.

Transcriere de către modelul preantrenat de la Whisper.

Transcriere de către modelul antrenat numai cu date de la Common Voice.

Transcriere de către modelul antrenat numai cu datele colectate în cadrul proiectului.

Transcrierea de către modelul antrenat atît cu date de la Common Voice, cît și cu date colectate în cadrul proiectului.

Procedura de antrenament

Codul de antrenare

Am folosit google colab pentru antrenarea modelului.

mai multe detalii -> https://github.com/Yehoward/Iazar?tab=readme-ov-file#code_de_antrenare_iazaripynb

Hiperparametri de antrenament

Următorii hiperparametri au fost utilizați în timpul antrenamentului:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 50
• training_steps: 200
• mixed_precision_training: Native AMP

Rezultate antrenament

Versiuni cadre

• Transformers 4.40.1
• Pytorch 2.2.1+cu121
• Datasets 2.19.0
• Tokenizers 0.19.1