Gheya-1.0-203M

🚀 Gheya-1 : La Nouvelle Génération de Fondations SLM 🚀

Bienvenue à la nouvelle ère de l'intelligence artificielle ultra-spécialisée !

✨ Vue d'Ensemble du Modèle

Gheya est le nouveau modèle de fondation de l'écosystème LES-IA-ETOILES, marquant le remplacement de l'ancienne série Small-lamina. Ce modèle est conçu pour être la base la plus robuste et la plus stable pour vos futurs affinages spécialisés.

---

🚧 État Actuel : Pourquoi les Résultats Sont Étranges

Gheya a été entraîné sur un corpus ciblé comprenant de la méta-connaissance sur l'IA, les SLM et des textes de biologie.

➡️ Conséquence : Le modèle souffre d'un sous-entraînement sévère et d'une sur-spécialisation précoce.

• Ce que vous allez voir : Des générations très axées sur le vocabulaire technique (clustering, hyperparamètres, temps de convergence) même pour des prompts sans rapport (comme "Jeanne d'Arc").
• Ce qu'il ne faut pas faire : Ne pas l'utiliser pour de l'inférence générale. Il ne connaît ni l'histoire, ni la culture générale. Il n'est pas encore un "SLM intelligent".

💡 Le Point Positif

Le modèle a validé l'architecture de $202$ millions. Il est stable et prêt à absorber des millions de lignes de données supplémentaires, soit par la suite de notre entraînement, soit par votre propre fine-tuning.

---

🛠️ Utilisation Recommandée : Le Fine-Tuning

Le véritable potentiel de Gheya réside dans sa capacité à devenir la fondation pour vos propres projets.

1. ⚙️ Continuer le Pré-entraînement (pour les Experts)

Si vous souhaitez créer un SLM généraliste français à $202$M :

• Action : Alimentez-le avec des centaines de milliers de lignes de texte français diversifié et propre.
• Résultat : Le modèle stabilisera sa grammaire et gagnera en généralité.

2. 🎯 Création de SLM Spécialisés (pour Tous)

Si vous souhaitez créer une IA de niche (comme le Nekolien ou un assistant technique) :

• Action : Affinez (fine-tunez) Gheya sur votre petit corpus personnalisé (quelques centaines ou milliers de lignes suffisent).
• Résultat : La base de $202$M devrait apprendre votre tâche plus rapidement et générer des réponses plus cohérentes et précises que l'ancienne base de $51$M.

---

💖 Philosophie du Modèle

• Nous sommes impatients de voir les incroyables SLM de niche que vous allez créer à partir de cette nouvelle fondation !
• Fait par Clemylia avec passion pour l'ingénierie et le codage.