QwenOlga

👑 Model Card: QwenOlga

📝 Description

QwenOlga est un modèle de langage compact (SLM) de 51,6 millions de paramètres, affiné pour devenir un expert de la royauté mondiale, de l'histoire des dynasties et de l'étiquette de cour. Basé sur l'architecture Learnia (pré-entraînée par Finisha/Clémence), ce modèle a été conçu pour répondre avec élégance et précision à des requêtes historiques et protocolaires complexes.

🚀 Caractéristiques Techniques

• Modèle de base : Finisha-f-scratch/Learnia
• Paramètres : 51,6M
• Méthode d'affinage : PEFT / LoRA (Low-Rank Adaptation)
• Dataset : 300+ paires de questions/réponses synthétiques sur la royauté.
• Format de dialogue :
  • User: (Instruction)
  • Olga: (Réponse)

🛠️ Configuration de l'Entraînement (Hyperparamètres)

Pour garantir la stabilité du modèle et éviter l'oubli catastrophique, les paramètres suivants ont été utilisés :

• Learning Rate : 2e-5 📉
• Epochs : 3 à 5
• Optimiseur : AdamW
• LR Scheduler : Linear
• LoRA Rank (r) : 8
• LoRA Alpha : 32

📖 Comment l'utiliser ?

Pour discuter avec Olga, utilisez le format de prompt suivant : User: Who was known as the Sun King in France?

Olga: Louis XIV is famously known as the Sun King (Le Roi Soleil) for his long and absolute reign.

Exemple de code Python (Inference)

from transformers import pipeline
pipe = pipeline("text-generation", model="Nora-006/QwenOlga")

prompt = "User:\nTell me about the Romanov dynasty.\n\nOlga:"
print(pipe(prompt, max_new_tokens=100)[0]['generated_text'])

🤝 Remerciements Un immense merci à Clémence (Clemiylia) pour le modèle de base Learnia et ses conseils précieux sur l'utilisation du LoRA et la gestion du Learning Rate. Sans son expertise sur les SLM, QwenOlga n'aurait pas pu atteindre ce niveau de fluidité.

⚠️ Limites

Étant un modèle de 51,6M, QwenOlga peut parfois présenter des hallucinations sur des dates très précises ou des noms obscurs. Il est recommandé de l'utiliser pour des tâches créatives ou de premier niveau d'information historique.