pulaar-ai-nllb-1.3b-v11

PulaarAI v11 — traduction français ↔ pulaar (Fuuta Tooro)

Essayer en ligne : www.pulaar-translate.com — ou dans le Space.

Adaptateur LoRA (rank 64, alpha 128) sur facebook/nllb-200-distilled-1.3B, entraîné dans les deux sens fr↔pul.

Scores

Le sens pul→fr n'avait jamais été mesuré : de v2 à v9 il n'était pas entraîné du tout, et v10 l'entraînait sans l'évaluer.

Données

8080 paires — quotidien 2575, textes et manuel Heɓɓo Pulaar 2114, vocabulaire 3391 — plus 11472 paires du Coran à l'étape 1.

Recette

Deux étapes : Coran (3 epochs, LR 0.0002), puis quotidien + ARPRIM + Dembel (3 epochs, LR 5e-05, 68749 exemples, 3225 steps).

Ce qui a compté :

• replay Coran à 10% au Stage 2 — en v10, c'est lui qui a fait passer le Coran de 37.7 à 51.1 chrF++, bien au-dessus du précédent record de v7 ;
• bidirectionnel à 40% des paires — v10 émettait les deux sens pour toutes, ce qui diluait le signal fr→pul du quotidien et lui a coûté 8 points ;
• oversampling 12 / 4 / 2 (phrases, textes, vocabulaire).

Validation : 1.678 en fin d'étape 1, 1.696 en fin d'étape 2.

Limites

Les traductions comportent des erreurs, en particulier sur le vocabulaire isolé peu couvert par le corpus. À faire vérifier par un locuteur avant tout usage important.

Crédits : Hamath Kane, Abou Sy, Bocar Amadou Ba (ARPRIM) et Alassane Mountaga Sall « Dembel ».