SykoLLM-V5.5-Beta

🧠 SykoLLM V5.5-Beta

⚠️ Bu model hâlâ beta aşamasındadır. Üretim ortamında kullanmadan önce kapsamlı test yapmanız önerilir.

SykoLLM V5.5-Beta, SykoLLM ailesinin şu ana kadar eğitilmiş en büyük dil modelidir. Phi-3 mimarisi üzerine inşa edilmiş olup Türkçe ve İngilizce metinler, kodlama veri setleri ve eğitici içerikler üzerinde ön-eğitimden (pre-training) geçirilmiştir.

---

📐 Model Mimarisi

---

📚 Eğitim Veri Setleri

Model aşağıdaki 8 farklı veri seti üzerinde harmanlanarak (interleave) eğitilmiştir:

Toplamda yaklaşık ~300.000 örnek ile eğitilmiştir.

---

⚙️ Eğitim Detayları

---

🚀 Kullanım

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "SykoSLM/SykoLLM-V5.5-Beta"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# Sohbet formatı
prompt = "<|user|>\nMerhaba! Nasılsın?<|end|>\n<|assistant|>\n"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        repetition_penalty=1.1
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

Sohbet Şablonu

Model aşağıdaki özel token formatıyla eğitilmiştir:

<|user|>
Kullanıcı mesajı burada<|end|>
<|assistant|>
Modelin yanıtı burada<|end|>

---

🗺️ SykoLLM Ailesi Yol Haritası

V5.6 ile ne değişecek?

• Eğitim verisi ~5.6x büyüyecek (300K → 1.7M örnek)
• A100'ün bellek ve hesaplama gücü sayesinde daha uzun bağlam ve daha derin öğrenme
• Türkçe dil yetkinliği önemli ölçüde artacak
• Beta etiketinin kaldırılması planlanmaktadır

---

⚠️ Sınırlamalar ve Önemli Notlar

• Bu model beta aşamasındadır; tutarsız veya hatalı yanıtlar üretebilir.
• Bağlam penceresi 1024 token ile sınırlıdır.
• Model yalnızca ön-eğitim (pre-training) görmüştür; RLHF veya DPO gibi hizalama süreçleri uygulanmamıştır.
• Kritik, tıbbi, hukuki veya güvenlik gerektiren uygulamalarda kullanımı önerilmez.
• Model zaman zaman Türkçe yerine İngilizce yanıt verebilir.

---

📄 Lisans

Bu model Apache 2.0 lisansı altında yayınlanmıştır. Ticari kullanım serbesttir, ancak modelin kaynağının belirtilmesi beklenir.

---

🙏 Teşekkürler

Bu modelin eğitiminde kullanılan veri setlerini açık kaynak olarak sunan tüm araştırmacılara ve topluluklara teşekkürler: HuggingFace, Turkish NLP Suite, Cosmopedia ekibi ve diğerleri.

---

SykoSLM tarafından geliştirilmiştir. Sorularınız için bir Issue açabilirsiniz.