Luck-spark-V-300-MoE

<p align="center"> <img src="logo.png" alt="Luck-Spark V-300-MoE" width="100%"> </p> <h1 align="center">Luck-Spark V-300-MoE</h1> <p align="center"> <b>Küçük ölçekli Mixtral-tarzı MoE dil modeli · araştırma önizlemesi</b><br> ~295M toplam parametre · 4 uzman · top-2 yönlendirme · 1024 bağlam </p> <p align="center"> <a href="https://huggingface.co/ahmetggg/Luck-spark-V-300-MoE">Model</a> · <a href="https://huggingface.co/ahmetggg/luck-spark-l-100m-base">Tokenizer</a> · <a href="https://huggingface.co/ahmetggg">Dr. Zeon</a> </p>

---

Dürüst durum notu. Bu bir bitmiş ürün modeli değildir. Sıfırdan pretrain edilen deneysel bir taban modeldir. Hedef korpus 5 milyar token; bu karttaki ağırlıklar eğitim yolunun erken bir noktasındadır. Kısa metin üretebilir, tekrarlayabilir, dil karıştırabilir. Değerlendirme kıyasları henüz yayınlanmamıştır.

---

Bu model nedir?

Luck-Spark V-300-MoE, Dr. Zeon tarafından sıfırdan eğitilen küçük bir Mixture-of-Experts dil modelidir. Mimari, Hugging Face MixtralForCausalLM iskeletini kullanır; ölçek ise bilinçli olarak tek bir Kaggle T4×2 oturumunda taşınabilir olacak şekilde seçilmiştir.

Amaç büyük bir genel model kopyalamak değil. Amaç şudur:

• ~300M parametrede seyrek uzman yönlendirmesinin gerçekten öğrenilip öğrenilmediğini görmek
• Türkçe + İngilizce + matematik + kod karışımını aynı küçük modelde dengelemek
• Ücretsiz Kaggle GPU kotasıyla oturumlar arası gerçek resume yapılabilen bir eğitim hattı kurmak

Bu repo, o hattın canlı ağırlıklarıdır.

Mimari

Her token’da 4 uzmandan 2’si açılır. Küçük ölçekte 4 uzman, büyük Mixtral’daki 8 uzmanlık çeşitliliği vermez. Bu bilinçli bir donanım takasıdır: T4 belleğinde eğitim açılsın, yönlendirme yine gerçek bir MoE problemi olarak kalsın.

Eğitim verisi

Akışkan (streaming) karışım. Oranlar hedef token payıdır; doküman örnekleme olasılıkları ortalama doküman uzunluğuna göre düzeltilmiştir.

Dokümanlar tokenize edilir, EOS eklenir, sonra 1024 token’lık bloklara paketlenir. Padding yok; her adımda sabit uzunluk.

Sınır. Tokenizer önce Türkçe ağırlıklı 100M taban için üretilmiştir. Karışımın büyük kısmı İngilizce olduğu için bu sözlük ideal değildir. Kod ve matematik token ekonomisi ileride ayrı bir sözlükle yeniden ele alınacaktır.

Eğitim düzeni

Kaggle oturumu yaklaşık 12 saatle sınırlıdır. Süre dolmadan güvenli checkpoint alınır; bir sonraki oturum aynı adımdan devam eder.

Checkpoint biçimi

Transformers’ın varsayılan Mixtral kayıt yoluna güvenilmez. Her kayıtta runtime state_dict doğrudan model.safetensors olarak yazılır ve luck_spark_checkpoint.json damgası konur. Yükleme strict=True ile yapılır. Damgasız eski klasörler yok sayılır.

Hub’da biriken checkpoint şişmesini önlemek için yalnızca son birkaç kayıt tutulur.

Resume’un sınırı. Ağırlık, optimizer ve scheduler oturumlar arasında taşınır. Streaming veri konumu birebir aynı yerden devam etmeyebilir. Yani ağırlık devamı gerçektir; veri konumunun birebir devamı garanti değildir.

Nasıl kullanılır?

Nasıl kullanılır?

Erken kontrol noktasıdır. Üretim sohbet botu değildir.

Aşağıdaki script interaktif çalışır: her seferinde farklı prompt yazıp deneme yapabilirsin.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

REPO = "ahmetggg/Luck-spark-V-300-MoE"
MAX_CONTEXT = 1024
MAX_NEW_TOKENS = 64

tokenizer = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForCausalLM.from_pretrained(
    REPO,
    torch_dtype=torch.float16,
    device_map="auto",
)
model.eval()

print("Hazir. Cikmak icin 'exit' yaz.\n")

while True:
    prompt = input(">> ").strip()
    if prompt.lower() in ("exit", "q"):
        break
    if not prompt:
        continue

    inputs = tokenizer(
        prompt, return_tensors="pt", truncation=True, max_length=MAX_CONTEXT
    ).to(model.device)

    with torch.no_grad():
        output = model.generate(
            **inputs,
            max_new_tokens=MAX_NEW_TOKENS,
            do_sample=True,
            temperature=0.8,
            top_p=0.95,
            use_cache=False,  # bu transformers surumunde MoE + KV-cache sorunlu
            pad_token_id=tokenizer.pad_token_id,
            eos_token_id=tokenizer.eos_token_id,
        )

    full_text = tokenizer.decode(output[0], skip_special_tokens=True)
    prompt_decoded = tokenizer.decode(inputs["input_ids"][0], skip_special_tokens=True)
    print(full_text[len(prompt_decoded):].strip() + "\n")

Bağlam penceresi 1024 tokendir. Bundan uzun girdi kesilir veya anlamsızlaşır. Bu bir taban modeldir, instruct/chat fine-tune edilmemiştir — çoklu tur "hafıza" beklemeyin.

Ne beklemeli, ne beklememeli?

Bekle.

• Kısa Türkçe / İngilizce devam cümleleri
• Basit kalıp tamamlama
• Eğitim ilerledikçe daha az çöp token

Bekleme.

• Talimat takibi (instruct / chat finetune yok)
• Güvenilir çok adımlı matematik
• Temiz, çalışır kod
• Güncel bilgi
• 1024 token üstü tutarlı bellek

Ölçek kuralı kabaca şudur: ~300M parametreli bir model Chinchilla civarında birkaç milyar token görünce “küçük ama okunur taban” olmaya başlar. Birkaç yüz milyon token’da bebek dil modelidir. Bu kartı o mercekten okuyun.

Değerlendirme

Bu sürümde resmi kıyas tablosu yoktur. Eğitim sırasında yalnızca üretim sondası (TR / EN / matematik / kod promptları) çalışır. Sayısal tablo — held-out perplexity, basit matematik, kısa kod — 5B hedefinin ilerleyen dilimlerinde eklenecektir.

MoE sağlığı (uzman kullanım oranı, ölü uzman, router entropy) dahili loglardadır; henüz model kartına işlenmemiştir.

Sınırlamalar ve riskler

• Halüsinasyon üretir. Doğruluk iddiası yoktur.
• Eğitim verisi açık web kaynaklıdır; önyargı, hatalı bilgi ve istenmeyen kalıplar geçebilir.
• Küçük model olduğu için güvenlik hizalaması yoktur.
• Araştırma, eğitim ve hata ayıklama içindir. Tıbbi, hukuki, mali veya güvenlik-kritik işlerde kullanılmaz.

Seri

Yol haritası

1. 5B token pretrain hedefini tamamlamak
2. Held-out TR / EN perplexity ve küçük kıyas seti
3. Uzman yük dengesini kartta yayınlamak
4. Veri karışımına uygun sözlüğü yeniden değerlendirmek
5. Ancak taban oturduktan sonra ayrı bir instruct sürümü

Atıf

@misc{luckspark-v300-moe,
  title        = {Luck-Spark V-300-MoE},
  author       = {Dr. Zeon},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/ahmetggg/Luck-spark-V-300-MoE}},
  note         = {From-scratch Mixtral-style MoE language model. Research preview.}
}

Lisans

MIT. Üstteki veri kümelerinin kendi lisanslarına da uyun.

Teşekkür

Eğitim, Kaggle ücretsiz T4×2 kotası ve Hugging Face Hub üzerinde yürütülmektedir. FineWeb-Edu, Cosmos Turkish Corpus, OpenWebMath, CodeParrot ve Cosmopedia sağlayıcılarına teşekkürler.

---

<p align="center"> <i>Dr. Zeon · Luck-Spark</i><br> Küçük model. Uzun yol. Dürüst kart. </p>