qwen-senegal-generation

Qwen2.5-3B Sénégal Generation

Modèle de génération de texte en français sénégalais avec code-switching Wolof-Français, spécialisé dans la conversation quotidienne sénégalaise.

Description

Ce modèle est un fine-tuning de Qwen2.5-3B-Instruct sur un corpus de 9507 segments de français sénégalais authentique avec insertions naturelles de mots wolof. Il est spécialisé dans les conversations du quotidien : mobilité urbaine, mobile money, cybersécurité, vie universitaire sénégalaise, et interactions sociales au Sénégal.

Utilisation

Le modèle suit le format Question/Réponse de son corpus d'entraînement :

```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch

model = AutoModelForCausalLM.from_pretrained( "mamediarrafaye/qwen-senegal-generation", torch_dtype=torch.float16, device_map="auto", ) tokenizer = AutoTokenizer.from_pretrained( "mamediarrafaye/qwen-senegal-generation" )

def generer(message, max_new_tokens=150): # Format obligatoire : Question/Réponse (format du corpus) formatted = f"Question : {message}\nRéponse :"

inputs = tokenizer(formatted, return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=max_new_tokens,
        temperature=0.7,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.2,
        pad_token_id=tokenizer.eos_token_id,
    )
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
return response.split("Réponse :")[-1].strip()

Domaines couverts

• Vie universitaire sénégalaise (examens, mémoires, bourses, inscriptions)
• Mobile money (Wave, Orange Money, transferts)
• Cybersécurité et phishing
• Transport urbain (BRT, Car Rapide, TER)
• ASR et développement logiciel
• Interactions sociales quotidiennes au Sénégal

Format d'entrée

Le modèle attend le format suivant : ``` Question : [votre message] Réponse : ```

Données

• 9507 segments de français sénégalais authentique
• 26% code-switching Wolof-Français
• 74% français sénégalais standard
• Sources : conversations simulées de contexte étudiant sénégalais

Entraînement

• Modèle de base : Qwen2.5-3B-Instruct
• Méthode : LoRA fine-tuning (r=64)
• Epochs : 3
• Learning rate : 2e-4
• Framework : TRL/SFTTrainer

Exemples de sorties

Limitations

• Spécialisé dans les conversations du quotidien sénégalais — ne pas utiliser pour des questions générales hors domaine
• Performances optimales avec le format Question/Réponse du corpus