Downloads · 30 days
30
15% of all-time downloads
Finisha-F-scratch/Nelya-neko
Nelya-neko is a text generation model from Finisha-F-scratch. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as other.
Downloads · 30 days
30
15% of all-time downloads
All-time downloads
203
Public
Parameters
125M
500 MB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors500 MB · 100%
From the Hugging Face model README

Nelya-neko est un Modèle de Langage Spécialisé (SLM) de $124$ millions de paramètres, pré-entraîné sur la langue construite Nekolien (propriété intellectuelle de LLm-Clem). C'est le premier modèle de la nouvelle génération d'architectures de Clemylia conçu pour les tâches de recherche avancées en conlangs (langues construites) et pour le traitement de très longs contextes.
| Caractéristique | Valeur | Note d'Impact |
|---|---|---|
| Famille / Type | Modèle de Fondation (Base) / SLM | Nécessite un Fine-Tuning pour l'alignement et les applications finales. |
| Développeur | Clemylia (LLm-Clem) | Créé From Scratch (architecture, tokeniseur, pré-entraînement). |
| Paramètres | $124$ Millions | Taille optimisée pour l'efficacité et le déploiement sur du matériel grand public. |
| Fenêtre de Contexte | $7000$ Tokens | Innovation Majeure : Permet la gestion de documents complets et de conversations Nekolien très longues. |
| Langue | Nekolien (Langue Construite) | Ultra-spécialisé. Ne doit pas être utilisé pour des langues naturelles sans Fine-Tuning extensif. |
| Tokeniseur | Nekolien-tokeniseur | Tokeniseur propriétaire From Scratch, essentiel pour le décodage et l'encodage du Nekolien. |
Nekolien-tokeniseur)Le modèle utilise un ensemble de tokens spéciaux pour structurer les données et permettre les tâches d'alignement futur :
| Token | Rôle Conventionnel | Fonction Spécifique |
|---|---|---|
<INKONIA> | UNK (Unknown) | Gère les séquences inconnues non présentes dans le corpus Nekolien. |
<CLASYA> | CLS (Classifier) | Token de classification pour l'encapsulation de séquences (utile en Fine-Tuning). |
<SEPARA> | SEP (Separator) | Utilisé pour marquer la délimitation entre différentes parties d'une séquence de texte. |
<MASKA> | MASK | Nécessaire pour les tâches de Masked Language Modeling (MLM) et de prédiction en Fine-Tuning. |
<MEMA> | Mémory / Métadonnée | Token unique, potentiellement lié à la gestion efficace du contexte étendu ($7000$ tokens). |
<PAD> | Padding | Assure la cohérence de la taille des séquences pour l'efficacité du GPU. |
Licence : LRUNDL (Licence de Recherche Non-Commerciale et à Usage Distinctif Limité)
Pour passer de ce modèle de fondation à une application utilisable, il est nécessaire de réaliser un Fine-Tuning d'Alignement (basé sur des paires instruction/réponse Nekoliennes) pour lui apprendre l'obéissance et la personnalité souhaitée.
Variante du nekolien de ce modèle : Nekolien original/centre.
Nelya-neko respecte les regles de l'Académie nekolienne : https://neko-lexicon-archives.lovable.app/