marvel-lora-adapter

Marvel Domain - Llama 3 LoRA Adaptörü

Model Özeti

Bu model, Llama-3 (8B) taban modeline entegre edilmek üzere eğitilmiş özel bir LoRA adaptörüdür.

Büyük dil modellerinin spesifik bir alanda nasıl uzmanlaştırılabileceğini göstermek amacıyla akademik bir proje kapsamında geliştirilmiştir. Model, Marvel evreni, çizgi roman tarihçesi ve karakter kökenleri hakkında Türkçe dilinde fine-tuning işleminden geçmiştir.

Eğitim Detayları

• Taban Model: unsloth/llama-3-8b-bnb-4bit
• Eğitim Yöntemi: LoRA
• Kullanılan Kütüphaneler: unsloth, trl, peft, transformers
• LoRA Parametreleri: r=16, lora_alpha=16, lora_dropout=0
• Eğitim Adımı: 60 Adım
• Donanım: Google Colab (T4 GPU)

Eğitim Verisi

Model, web scraping ve veri çoğaltma (data augmentation) yöntemleriyle sıfırdan oluşturulan Egertekin/marvel-domain-dataset kullanılarak eğitilmiştir. Eğitim sırasında standart Alpaca Instruction/Output şablonu kullanılmıştır.

Kullanım

Bu LoRA adaptörünü Unsloth veya standart Hugging Face peft kütüphanesi ile ana modele (Llama-3) entegre ederek doğrudan çalıştırabilirsiniz.

Unsloth ile Kullanım Örneği:

from unsloth import FastLanguageModel

# Taban model ve geliştirdiğimiz LoRA adaptörünün birlikte yüklenmesi
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Egertekin/marvel-lora-adapter",
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

# Modeli çıkarım (inference) moduna alma
FastLanguageModel.for_inference(model)

alpaca_prompt = """Aşağıdaki bir görevi veya soruyu tanımlayan talimattır. Talebi uygun şekilde tamamlayan bir yanıt yazın.

### Talimat:
Wolverine'in iskeleti hangi metalden yapılmıştır?

### Yanıt:
"""

# Soruyu modele iletme ve yanıt üretme
inputs = tokenizer([alpaca_prompt], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 64, use_cache = True)
print(tokenizer.batch_decode(outputs))



------------------------------------------------------------

## MMLU Benchmark Karşılaştırması

Modelimizin bilgi işleme ve çoklu görev kavrama yeteneğini ölçmek amacıyla, Türkçe MMLU benchmark testi uygulanmıştır. Test sonuçları, uygulanan LoRA Fine-Tuning işleminin modelde "catastrophic forgetting" yol açmadığını ve modelin genel başarı oranını baz modele göre yukarı taşıdığını bilimsel olarak kanıtlamaktadır.

| Model / Versiyon | Test Edilen Model Adı | Türkçe MMLU Genel Skoru (Accuracy) |
| :--- | :--- | :---: |
| **Base Model (Eğitimsiz)** | `unsloth/llama-3-8b-bnb-4bit` | % 19.82 |
| **Fine-Tuned Model (LoRA)** | `Egertekin/marvel-lora-adapter` | **% 20.82** |

*Not: Test, `alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari` veri seti ve Hugging Face `SentenceTransformer` anlamsal benzerlik metrikleri kullanılarak Google Colab (T4 GPU) ortamında tüm sorular üzerinden çalıştırılmıştır.*


------------------------------------------------------------



## Özel Domain Benchmark Testi (Marvel Evreni Bilgi Doğruluğu)

Modelin fine-tune edildiği spesifik senaryodaki (Marvel Evreni, karakter arka planları ve olay örgüleri) tutarlılığını ölçmek amacıyla, eğitim setine **kesinlikle dahil edilmemiş** yepyeni bir Benchmark oluşturulmuştur. 

Orijinal veri setinin yaklaşık **%11lik** hacmine denk gelen bu özel test seti, modelin daha önce hiç görmediği 20 adet, 5 şıklı (A, B, C, D, E) ve zorluk derecesi yüksek sorudan oluşmaktadır. Test, 4-bit kuantizasyon standartlarına uygun olarak doğrudan zero-shot formatta gerçekleştirilmiş; çıktıların analizi için Regex tabanlı bir ayrıştırıcı kullanılmıştır.

### 📊 Marvel-Bench V2 Sonuçları

| Değerlendirme Kriteri | Sonuç |
| :--- | :--- |
| **Toplam Soru Sayısı** | 20 (Eğitim Verisinin ~%11i) |
| **Doğru Cevap Sayısı** | 8 |
| **Başarı Oranı** | **%40.00** |
| **Inference Süresi** | 21.29 Saniye |
| **Üretim Hızı** | 1.88 Token/Saniye |
| **Test Senaryosu** | Türkçe Marvel Evreni Bilgi Doğruluğu |

**Sonuç Analizi:** Model, 5 şıklı zero-shot test formatinda rastgele başari oranının (%20) iki katı olan **%40.00** doğruluğa ulaşarak domain spesifik bilgileri öğrendiğini göstermiştir. Ancak test çıktıları incelendiğinde, modelin emin olamadığı sorularda "B" şıkkını seçme eğilimi gösterdiği (Positional/Token Bias) tespit edilmiştir. Bu durum, modelin Instruction-Tuning aşamasında çoktan seçmeli formatlardan ziyade serbest metin üretimine daha yatkın olduğunu kanıtlamaktadır.