SykoLLM-V5.7-Mini

SykoLLM-V5.7-Mini

SykoLLM-V5.7-Mini, sıfırdan (from scratch) eğitilmiş, Türkçe ve İngilizce destekli, kod anlama kapasitesine sahip küçük ölçekli bir dil modelidir. Phi-3 mimarisi temel alınarak özel BPE tokenizer ile geliştirilmiştir.

---

Model Mimarisi

---

Tokenizer

Model, sıfırdan eğitilmiş özel bir BPE tokenizer kullanmaktadır. Hugging Face'in hazır tokenizer'larından bağımsız olarak geliştirilmiştir.

• Tür: Byte-Level BPE
• Vocabulary Boyutu: 50.000
• Normalizer: NFKC
• Özel Token'lar: <|endoftext|>, <|user|>, <|assistant|>, <|end|>, <|pad|>

---

Eğitim Verisi

---

Eğitim Detayları

---

Kullanım

Kurulum

pip install transformers torch

Metin Üretimi

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "SykoSLM/SykoLLM-V5.7-Mini"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

prompt = "Türkiye'nin başkenti"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=200,
        temperature=0.7,
        top_p=0.9,
        do_sample=True,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.pad_token_id
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Sohbet Formatı

Model <|user|> / <|assistant|> prompt formatıyla eğitilmiştir:

prompt = "<|user|>\nPython'da Fibonacci dizisini nasıl yazarım?<|end|>\n<|assistant|>\n"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=300,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---

Sınırlamalar

• Model araştırma ve geliştirme amaçlıdır; production ortamı için önerilmez.
• Eğitim adımı görece az olduğundan uzun ve karmaşık akıl yürütme görevlerinde hata yapabilir.
• Maksimum bağlam uzunluğu 1024 token ile sınırlıdır.
• Model, zararlı içerik filtrelemesi için hizalanmamıştır (RLHF/DPO uygulanmamıştır).

---

Lisans

Bu model Apache 2.0 lisansı altında yayınlanmıştır.

---

Alıntı

@misc{sykollm-v57-mini-2025,
  author    = {SykoSLM},
  title     = {SykoLLM-V5.7-Mini: A Small Multilingual Causal Language Model Trained from Scratch},
  year      = {2025},
  publisher = {HuggingFace},
  url       = {https://huggingface.co/SykoSLM/SykoLLM-V5.7-Mini}
}