odysseia-llama-lora

Uploaded model

• Developed by: srhskrkc
• License: apache-2.0
• Finetuned from model : unsloth/Llama-3.2-1B-Instruct-bnb-4bit

This llama model was trained 2x faster with Unsloth

<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>

<details> <summary><b>Hafta 2.1 Ödev: Fine-Tune Edilen Modelin Benchmark Testine Sokulması</b></summary>

⎉ 🇹🇷 Türkçe MMLU Benchmark Karşılaştırması

Modelin genel mantık yürütme ve Türkçe anlama kapasitesini ölçmek için Ali Bayram Hocanın Türkçe MMLU veri setinin 3.100 soruluk (yaklaşık %50'lik) kısmı üzerinde test yapılmıştır.

Sonuç Değerlendirmesi: Yapılan LoRA fine-tuning işlemi (Odysseia verisi ile) modelde Catastrophic Forgetting (Yıkıcı Unutma) yaratmamış; aksine modelin genel çoktan seçmeli soru çözme başarısını koruyup ufak bir artış sağlamıştır.

<details> <summary><b>⚡︎ ⌲ Kullanım (Inference) Kodu</b></summary> Bu LoRA adaptörünü kendi projelerinizde veya testlerinizde base model üzerine yükleyerek şu şekilde kullanabilirsiniz:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 1. Base modeli ve tokenizer'ı yükleyin
base_model_id = "unsloth/Llama-3.2-1B-Instruct-bnb-4bit"
tokenizer = AutoTokenizer.from_pretrained(base_model_id)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 2. LoRA adaptörünü base model üzerine entegre edin
model = PeftModel.from_pretrained(base_model, "srhskrkc/odysseia-llama-lora")

# 3. Test promptu oluşturun
prompt = "Girdiğiniz metin veya soru buraya yazılır..."
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

</details> <details> <summary><b>▤ Tıklayın: MMLU Değerlendirme (Evaluation) Kodu</b></summary>

Modelin başarı skorlarını (3.100 soru üzerinden) hesaplarken kullanılan MMLU benchmark test kodunun temel yapısı:

from unsloth import FastLanguageModel
import pandas as pd
import torch

mmlu_veri = pd.read_parquet("hf://datasets/alibayram/yapay_zeka_turkce_mmlu_model_cevaplari/data/train-00000-of-00001.parquet")
test_verisi = mmlu_veri.head(3100) # İlk 3.100 soru

model_id = "srhskrkc/odysseia-llama-lora"
model, tokenizer = FastLanguageModel.from_pretrained(model_name = model_id, max_seq_length = 2048, load_in_4bit = True)
FastLanguageModel.for_inference(model)

harfler = ['A', 'B', 'C', 'D', 'E']
dogru_cevap_sayisi = 0

for i in range(len(test_verisi)):
    soru_metni = test_verisi.iloc[i]['soru'] + "\n"
    secenekler = test_verisi.iloc[i]['secenekler']
    dogru_harf = harfler[test_verisi.iloc[i]['cevap']]

    for j in range(len(secenekler)):
        soru_metni += harfler[j] + ": " + secenekler[j] + "\n"

    prompt = "Sana soru ve seçenekleri veriyorum. Sadece hangi seçeneğin sorunun doğru cevabı olduğunu yaz.\nSoru: " + soru_metni + "Cevap:"
    
    inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=5, pad_token_id=tokenizer.eos_token_id)
    cevap_metni = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
    verilen_cevap = cevap_metni.split("Cevap:")[-1].strip().upper()

    if len(verilen_cevap) > 0 and verilen_cevap[0] == dogru_harf:
        dogru_cevap_sayisi += 1

print(f"Başarı Oranı: %{(dogru_cevap_sayisi / len(test_verisi)) * 100:.2f}")

</details>

🎛️ Eğitim Hiperparametreleri

Model, kaynak optimizasyonu sağlamak adına Unsloth kütüphanesi ve LoRA (Low-Rank Adaptation) tekniği kullanılarak eğitilmiştir:

⚛︎ Veri Seti ve Hazırlık Süreci

Bu LoRA adaptörü, klasik MMLU veya hazır veri setleri yerine, tamamen özgün olarak derlenen Odysseia Destanı Türkçe veri seti ile eğitilmiştir.

• Veri Seti: (https://huggingface.co/datasets/srhskrkc/odysseia-destani-tr)
• Tokenizer: Metinlerin tokenizasyonu için hazır bir model kullanmak yerine, bu projeye özel olarak sıfırdan eğitilmiş BPE (Byte-Pair Encoding) tabanlı (https://huggingface.co/srhskrkc/odysseia-bpe-tokenizer) kullanılmıştır.

</details> <details> <summary><b>Hafta 2.2 Ödev: Özel Benchmark Oluşturma Ödevi</b></summary>

⌖ ⌬ Model Değerlendirmesi ve Benchmark Karşılaştırması

Proje kapsamında geliştirilen srhskrkc/odysseia-llama-lora modeli, Homeros'un Odysseia destanındaki bağlamsal ilişkileri ölçmek amacıyla özel olarak hazırlanan 100 soruluk Odysseia Benchmark Veri Seti üzerinde teste tabi tutulmuştur.

Ödev yönergesi gereği, modelin başarısını kıyaslayabilmek adına aynı test (Zero-Shot formatında) 4 farklı açık kaynaklı temel model üzerinde daha uygulanmış ve sonuçlar aşağıda listelenmiştir.

🎚️ Test Sonuçları Tablosu

Sonuç Analizi: 4 seçenekli (rastgele başarı ihtimali %25 olan) bu benchmark setinde test edilen temel modeller (Gemma, Mistral, Qwen) %10 ile %27 arasında sonuç vermiştir. Hedef alana özel olarak fine-tune edilen srhskrkc/odysseia-llama-lora modeli ise %53 başarı oranına ulaşmıştır.

• Benchmark Veri Seti: (https://huggingface.co/datasets/srhskrkc/odysseia-benchmark)

---

🧬 Veri Seti Kalite Kontrol ve İnsan Doğrulama Süreci

Benchmark veri setindeki 100 sorunun 10'u ödev yönergesi gereği tamamen manuel olarak, 90'ı ise LLM desteğiyle (sentetik olarak) üretilmiştir. Sentetik veriler üretildikten sonra doğrudan kabul edilmemiş, aşağıdaki insan doğrulama (human-in-the-loop) süreçlerinden geçirilerek kalite kontrolü sağlanmıştır:

1. Halüsinasyon (Hallucination) Teyidi: Sentetik olarak üretilen soruların cevapları, Odysseia destanının kaynak metinleriyle manuel olarak çapraz kontrole sokulmuş ve modelin uydurma yapmadığı doğrulanmıştır.
2. Çeldirici (Distractor) Kalitesi ve Bias: A, B, C, D seçeneklerindeki çeldirici şıkların mantıklı olması, soruyu çok kolaylaştıracak absürtlükte olmaması ve doğru cevapların dengeli dağılması manuel olarak sağlanmıştır.
3. Format Standardizasyonu: Soruların MMLU yapısına uygunluğu ve JSON alanlarının (question, choices, answer) regex ile tam uyumlu çalışacak şekilde temizlenmesi sağlanmıştır.

🌌 Tartışma: Dar Alan Öğrenmesi ve Catastrophic Forgetting

Uygulanan ince ayar (fine-tuning) sonucunda modelin Odysseia Benchmark testinde %53 başarıya ulaşırken, Genel Türkçe MMLU testindeki başarısının taban modele kıyasla neredeyse aynı kalması (%27.87'den %27.94'e) bir dezavantaj değil, planlanan bir başarıdır:

• Bu durum, modelin sadece dar alanda öğrenip genelleme yapamadığı şeklinde değil; aksine Catastrophic Forgetting (Yıkıcı Unutma) probleminin başarıyla engellendiği şeklinde yorumlanmalıdır.
• Model, hedef bağlam olan Odysseia destanı üzerinde uzmanlaşırken, temel dil yeteneklerini ve genel dünya bilgisini (Genel MMLU) bozmamıştır. Uygulanan LoRA konfigürasyonu, temel modelin ağırlıklarını yıkmadan yeni bilgiyi entegre etmede başarılı olmuştur.

</details>