SykoLLM-V4.4

SykoLLM-V4.4

SykoLLM-V4.4, LLaMA mimarisi temel alınarak sıfırdan (from scratch) eğitilmiş özel, hafif ve hızlı bir dil modelidir. Düşük kaynak tüketimi ile metin üretimi (text generation) görevlerini yerine getirmek üzere tasarlanmıştır.

Eğitim Detayları (Training Details)

Bu model ince ayar (fine-tuning) yapılmamış, tamamen sıfırdan pre-train edilmiştir. Eğitim süreciyle ilgili detaylar şunlardır:

• Veri Seti: 1.6 Milyon örnek (example)
• Donanım: Nvidia A100 GPU
• Eğitim Süresi: Yaklaşık 20 saat
• Eğitim Tipi: Pre-training (Sıfırdan)

📊 Model Özellikleri (Model Specs)

Modelin teknik özellikleri aşağıdaki gibidir:

• Mimari: LlamaForCausalLM
• Parametre Boyutu: Kompakt (1024 Hidden Size, 20 Gizli Katman)
• Bağlam Penceresi (Context Window): 1024 token
• Dikkat Başlıkları (Attention Heads): 8 (Num Key Value Heads: 8)
• Kelime Dağarcığı (Vocab Size): 32,000
• Veri Tipi: bfloat16 (Daha verimli bellek kullanımı ve hızlı çıkarım için)
• Parametre Sayısı ~338 Milyon

Karşılaştırma Testleri (Her test 100 örnek ile yapılmıştır.)

SykoLLM-V4.4'ün ARC-EASY testinde %3 oranında düşüş yaşamasının sebebi yıkıcı unutma'dır

Ancak son çıkan modelim olan SykoLLM-V4.4'ün testlerde genel olarak daha başarılı olmuştur.

Nasıl Kullanılır? (Quick Start)

Modeli Hugging Face transformers kütüphanesi ile saniyeler içinde projene dahil edebilirsin.

Öncelikle gerekli kütüphaneleri kurduğundan emin ol:

pip install transformers torch

Ardırdan aşağıdaki kodla birlikte modeli çalıştırabilirsiniz:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Modelin repo adı
model_id = "syko818121/SykoLLM-V4.4"

# Tokenizer ve Modeli yükleme
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

# Test metni
user_message = "6 + 6 kaç eder?"

# Llama 3 orijinal chat template'inin manuel olarak eklenmesi
# user ve assistant rolleri ile special token'lar korundu
prompt = (
    f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n"
    f"{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# Metin üretimi
outputs = model.generate(
    **inputs, 
    max_new_tokens=100, 
    temperature=0.15, 
    top_p=0.9,
    early_stopping=True,
    repetition_penalty=1.16,
    do_sample=False
)

# Çıktıyı decode etme
response = tokenizer.decode(outputs[0], skip_special_tokens=True)

# Sadece asistanın verdiği cevabı temiz bir şekilde alma
final_response = response.split("assistant\n\n")[-1].strip()

print(final_response)