Downloads · 30 days
48
100% of all-time downloads
Pyce-MoE-50M-Code
abdi38394/Pyce-MoE-50M-Code
Pyce-MoE-50M-Code is a machine learning model from abdi38394. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
Ce modèle est un mini-Transformer de 50 Millions de paramètres utilisant une architecture Mixture of Experts (MoE) avec un routage Top-1. Chaque jeton n'active qu'un seul expert parmi 4 à chaque couche, permettant d'a…
All-time downloads
48
Public
Parameters
53.2M
425 MB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.bin213 MB · 50%
At a glance
- License
- mit
- Model type
- mini-moe
- Access
- Public
- Created
- Sep 3, 2026
- Updated
- Sep 3, 2026
- SHA
- 482a196b
Model card
From the Hugging Face model README
Ce modèle est un mini-Transformer de 50 Millions de paramètres utilisant une architecture Mixture of Experts (MoE) avec un routage Top-1. Chaque jeton n'active qu'un seul expert parmi 4 à chaque couche, permettant d'avoir la rapidité d'exécution d'un modèle ultra-léger tout en conservant une grande capacité d'apprentissage.
Performances
- Loss Moyenne Globale : 2.6492
- Perplexité Finale (PPL) : 14.14
- Contexte : 256 tokens
Architecture
- Couches : 5
- Têtes d'attention : 8
- Experts par couche : 4
- Dimension du modèle : 512
- Taille du vocabulaire : 16 000 (BPE Tokenizer)
- Type
- mini-moe
- License
- mit
- Languages
- en
- Created
- Sep 3, 2026
- Updated
- Sep 3, 2026