Norovox-Alpha

Norovox Alpha

Norovox Alpha, random-init ile eğitilmiş özgün NorovoxAlphaCore mimarisine ve kendi 32k BPE tokenizer'ına sahip deneysel bir Türkçe yapay zekâ çekirdeğidir. Qwen/Llama sınıfı veya başka bir modelin ağırlık kopyası değildir. Güncel kanonik SFT checkpoint'i 151.641.856 parametre ve step 67.740 düzeyindedir.

Önemli: Bu sürüm 8B değildir. Model kartı gerçek checkpoint boyutunu açıkça belirtir; isim veya öğretmen büyüklüğü Norovox'un parametre sayısını değiştirmez.

Frontier entegrasyon zinciri

Öğretmen modellerin ağırlıkları Norovox'a birleştirilmedi. Her aşamada 24 kayıtlık denetlenebilir öğretim kümesi üretildi, 256 replay kaydıyla devam-SFT yapıldı ve yalnız hem frontier hem replay kapısını geçen aday kanonik modele terfi ettirildi.

Ham öğretim verileri, doğrulama raporları ve eğitim metrikleri frontier/<stage>/ altında; her geçen checkpoint checkpoints/ altında sürümlü olarak yayımlanır. norovox_alpha_sft.pt son geçen adayı gösterir.

FP8 depolarının ayrı inference endpoint'i bulunmadığından FP8 aşamaları, aynı temel Qwen açık ağırlığından farklı deterministik örneklemeyle üretilmiş bağımsız veri kümeleri kullanır; bu köken her kaydın usage metadatasında belirtilmiştir. Qwen yerel öğretmen çalıştırmalarında açık GGUF kuantları kullanılmıştır.

Mimari

NorovoxAlphaCore: RoPE + RMSNorm + SwiGLU + GQA + MTP (çok-token başlığı) + kimlik çıpası. Kaynak uygulama norovox_alpha_core.py dosyasındadır.

Kullanım

import torch
from huggingface_hub import hf_hub_download
from norovox_alpha_core import NorovoxAlphaCore, CoreConfig
from tokenizers import Tokenizer

repo = "emrevrg/Norovox-Alpha"
path = hf_hub_download(repo, "norovox_alpha_sft.pt")
ck = torch.load(path, map_location="cpu", weights_only=False)
cfg = CoreConfig(**ck["cfg"])
model = NorovoxAlphaCore(cfg)
model.load_state_dict(ck["model"], strict=True)
model.eval()
tokenizer = Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json"))
print("step", ck["step"], "parameters", sum(p.numel() for p in model.parameters()))

Sınırlar ve doğru yorumlama

• Yukarıdaki loss değerleri aşama içi sabit held-out set ölçümleridir; MMLU, HumanEval veya bağımsız bir standart benchmark değildir.
• Küçük değerlendirme seti tek başına genel yetenek veya frontier-model eşitliği kanıtlamaz.
• Model erken araştırma aşamasındadır; kritik kararlar için insan doğrulaması gerekir.
• Öğretmen yanıtları lisans ve kullanım koşulları gözetilerek denetlenmelidir.

Tanıtım: Norovox