Norovox-Alpha-MoE-707M

🧠 Norovox Alpha MoE 707M

Ozgun NorovoxAlphaCore mimarisinin buyuk Mixture-of-Experts surumu — 8 uzman, top-2 yonlendirme.

Gelismis mimari ozellikler (hepsi Norovox'a ozgu)

• RoPE konumsal kodlama + RMSNorm + SwiGLU aktivasyon
• GQA (grouped-query attention) — verimli uzun baglam
• MTP (coklu-token tahmin) baslliklari — reasoning-odakli tahmin
• MoE router (8 uzman, top-2) — dinamik uzman yonlendirme
• identity_anchor — Norovox kimlik cipasi

Reasoning-odakli kurulum

Model chat_template.jinja + system_prompt.txt ile adim-adim dusunme (<think>...</think>) formatina hazir gelir; Norovox kimligiyle konusur.

Not: MoE uzmanlari fonksiyon-koruyan baslatilir; ek MoE egitimiyle uzmanlasir. 707M parametreye olceklenmis, reasoning-odakli ozgun bir temeldir.

Lisans: Apache-2.0.

_{Tokenizer: Qwen2.5-uyumlu sozluk, Apache-2.0 (lisans geregi atif).}

---

Support Norovox

Norovox is built by one 17-year-old high school student in Türkiye: no company, no sponsor, no budget. Every model on this page was trained on free GPU quotas that run out within days. When they run out, training stops halfway and the next, stronger version has to wait, sometimes for a week.

Your support goes directly into GPU time. Even a small contribution lets a training run finish instead of stopping, and helps the Nythos, N1, AUBIN and Norovox Embed models get better faster. Supporters are credited in the model cards and get early access to new releases.

Contact: [email protected] · [email protected]

_{🇹🇷 Norovox'u Türkiye'de 17 yaşında bir lise öğrencisi tek başına geliştiriyor: şirket yok, sponsor yok, bütçe yok. Buradaki modellerin hepsi birkaç günde biten ücretsiz GPU kotalarıyla eğitildi; kota bitince eğitim yarıda kalıyor ve daha güçlü sürüm bekliyor. Desteğin doğrudan GPU süresine gider; küçük bir katkı bile bir eğitimin yarıda kalmadan tamamlanmasını sağlar. Destekçiler model kartlarında anılır ve yeni sürümlere erken erişir. İletişim: [email protected] · [email protected]}