whisper-tiny-sr-distilled-iterative

Whisper Tiny za srpski — destilacija + ponovno učenje na greškama

Destilovani Whisper Tiny doučen kroz dve runde ponovnog učenja na sopstvenim greškama. Uzorci za svaku rundu biraju se po kategorijama grešaka (70 % dobro poznatih + 30 % loših), uz augmentaciju čija jačina raste sa brojem viđanja uzorka. Gubitak L = 0.9·CE + 0.1·T²·KL, T = 1.

Model je nastao u okviru master rada na temu optimizacije malih modela za automatsko prepoznavanje govora na srpskom jeziku.

Rezultati

Svi modeli su mereni istim postupkom nad istim test skupom od 2.239 uzoraka koji nijedan model nije video tokom obučavanja. Tekst se pre poređenja normalizuje: mala slova, bez interpunkcije, pismo svedeno na latinicu.

Podudarnost je udeo poklapanja na nivou reči (difflib.SequenceMatcher), veće je bolje. Zbirni WER je ukupan broj grešaka podeljen ukupnim brojem reči i otporniji je na kratke iskaze od proseka po uzorku. Kolona WER > 100 % broji uzorke na kojima je hipoteza duža od reference, što po pravilu znači da je dekodiranje upalo u petlju.

Korišćenje

from transformers import pipeline

pipe = pipeline("automatic-speech-recognition", model="BogdanTomic/whisper-tiny-sr-distilled-iterative")
rezultat = pipe("snimak.wav", generate_kwargs={"language": "serbian",
                                              "task": "transcribe"})
print(rezultat["text"])

Podaci

Korpus od oko 200 sati govora na srpskom jeziku iz javno dostupnih izvora. Priprema obuhvata segmentaciju dugih zapisa, grupisanje uzoraka po boji glasa, stratifikovanu podelu, prisilno poravnanje zvuka i teksta i proveru konzistentnosti transkripata. Konačan skup ima 41.082 uzorka za obučavanje, uz odvojene validacioni (2.219) i test skup (2.239).

Ograničenja

Model je obučen na jednom korpusu srpskog jezika, pa se ponašanje na drugačijem akustičkom materijalu, spontanom govoru ili dijalektima nije proveravalo. Izlaz može biti mešovitog pisma, jer učitelj piše ćirilicom a reference su latinične; pri merenju se pismo svodi na latinicu.