Lamina-large-2b-pretrain

📖 Documentation du Modèle : Lamina-large-2b-pretrain ✨

Introduction

Bienvenue dans l'écosystème Lamina ! Lamina-large-2b-pretrain est un modèle de langage massif de fondation (Modèle de Base) créé from scratch par Clemylia, destiné à la communauté et aux développeurs souhaitant construire leur propre LLM personnalisé.

Ce modèle est le plus grand modèle de pré-entraînement publié à ce jour par Clemylia, fruit d'une ingénierie de pointe.

⚙️ Détails Techniques Clés

---

⚠️ Statut et Limites (Très Important !)

Ce modèle est un modèle de fondation à l'état brut. Son statut actuel est identique à celui de Lam-3 avant fine-tuning.

➡️ Ce modèle doit impérativement être affiné (fine-tuné) avant utilisation en production !

---

🛠️ Usage Principal : Le Tremplin LLM

L'objectif de Lamina-large-2b-pretrain est de servir de base pour le développement de LLM personnalisés :

1. Transfert d'Apprentissage : Utilisez ce modèle pour économiser le temps et le coût du pré-entraînement initial. Le modèle a déjà la structure de base du français.
2. Affinage (Fine-Tuning) : La prochaine étape est d'injecter vos propres données de haute qualité (plusieurs milliards de tokens spécifiques à votre domaine) pour stabiliser et spécialiser les 2 milliards de paramètres.
3. Création de LLM Privé : Idéal pour les entreprises ou les équipes qui souhaitent créer un LLM interne sur leurs données confidentielles sans partir de zéro.

---

💡 Leçons d'Ingénierie (Du Lam-3 à Lamina-large)

Ce modèle est la solution au problème rencontré avec Lam-3 ($714$M) :

• Lam-3 était sous-performant en raison d'un ratio paramètres/données déséquilibré.
• Lamina-large-2b-pretrain est une base plus grande mais avec une architecture optimisée pour être plus stable après le fine-tuning massif, capitalisant sur la capacité de calcul TPU.

Tiny-charlotte ($51$M) reste l'exemple d'un SLM hyper-affiné destiné à une seule tâche ; Lamina-large-2b-pretrain est destiné à devenir un LLM polyvalent.

---

🤝 Remerciements

Un grand merci aux soutiens de Clemylia, notamment à Nora et à sa famille, dont l'accès aux ressources de calcul TPU a rendu l'entraînement de ce modèle de $2$ milliards de paramètres gratuit et possible pour la communauté open source.

🛑 Ce modèle n'est pas utilisé en état, il est sous-entraînés, et son existence demontre juste la capacité d'entraîner un modèle aussi gros sur des ressources limitées

✨ Capacités de ce modèle

est nul en :

-Faible en syntaxe*

• Ne peut pas générer du texte français fluide
• A été sous-entraînés.

est fort en :

• Classification : classifié si un texte est au passé composé, présent, futur, les sujets etc...
• Être une fondation de fine-tuning pour créé des LLM spécialisé uniques