TR-ECommerce-CustomerSupport-LoRA

TR-ECommerce-CustomerSupport-LoRA

Bu model, e-ticaret müşteri destek alanındaki Türkçe metinleri daha iyi anlayıp cevap üretebilmesi için unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit modeli üzerine LoRA ile fine-tune edilmiştir.

📊 MMLU Benchmark Karşılaştırması

Fine-tune edilmiş bu model, öncelikle genel kültür ve muhakeme yeteneğini ölçmek adına Türkçe Yapay Zeka MMLU veri setinin 1000 soruluk kapsamlı bir alt kümesi üzerinden test edilmiştir. Base model ile yapılan karşılaştırmalı performans testi sonuçları aşağıdadır:

MMLU Değerlendirmesi: Çoktan seçmeli bir testte %22'lik başarı şans faktörüne (random guessing) oldukça yakındır. Fine-tune işlemi sonrası bu oranın %34.10'a çıkması, modelin genel kültür bilgisinin artmasından ziyade; verilen "sadece şıkkın harfini yaz" talimatına ve formata çok daha iyi uyum sağlamasından kaynaklanmaktadır. Bu test göstermektedir ki LoRA eğitimi yıkıcı unutmaya (catastrophic forgetting) yol açmamış, modelin formatı öğrenme kapasitesini belirgin şekilde artırmıştır.

*Not: Süredeki dramatik iyileşme, kısmen GPU/Cache ısınmasından ve modelin talimata uyarak gereksiz uzunlukta token üretmeyi bırakmasından (doğrudan tek harf üretmesi) kaynaklanmaktadır.

---

🎯 Özel E-Ticaret Benchmark Karşılaştırması (Asıl Odak)

Model e-ticaret müşteri desteği için fine-tune edildiğinden, modelin asıl başarısını ölçmek adına 500 soruluk özel bir e-ticaret test seti (TR-ECommerce-CustomerSupport-Benchmark) oluşturulmuştur. Bu veri seti, eğitim verisinden tamamen ayrılmış %10'luk bir kısımdır.

Önceki değerlendirmelerde vurgulanan "bölüm bazlı (stratified) örnekleme" önerisine uygun olarak; test seti 5 ana kategoriye ayrılmış ve her kategoriden tam 100'er adet dengeli soru seçilmiştir.

Analiz (Gerçek E-Ticaret Performansı): Kendi hazırladığımız dengeli (stratified) 500 soruluk test setinde Qwen 2.5 1.5B Base modeli %27.40 başarı gösterirken, aynı modelin üzerine eğittiğimiz LoRA versiyonu %39.80 puana (oransal olarak ~%45 iyileşme) çıkmıştır. Bu artış, modelin e-ticaret domaininde (kargo, iade, fatura vb. müşteri şikayetleri) hedeflediğimiz uzmanlaşmayı başarıyla kazandığını ispatlamaktadır. Llama 3.2 gibi popüler modelleri de bu spesifik alanda geride bırakmıştır.

🚀 Kullanım (Usage)

Modeli transformers ve peft kütüphaneleri ile kolayca kullanabilirsiniz:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base_model_id = "unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit"
peft_model_id = "Mer1Alii/TR-ECommerce-CustomerSupport-LoRA"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)
model = AutoModelForCausalLM.from_pretrained(base_model_id, torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(model, peft_model_id)

prompt = "Kargom 3 gündür yolda gözüküyor, ne yapmalıyım?"
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

🔗 Veri Seti ve Test Kodu (Dataset & Benchmark)

Tüm test kodları ve veri setleri tamamen şeffaf bir şekilde bu deponun "Files and versions" sekmesinde yer almaktadır:

• Özel E-Ticaret Benchmark Testi: Modelin kendi e-ticaret senaryomuzda test edildiği 500 soruluk JSON veri seti (custom_benchmark_final.json) ve 4-bit optimize test kodu (custom_benchmark_test.py).
• MMLU Testi: Önceki MMLU testini yapmak için kullanılan kod (hf_olcum.py).

Model eğitimi sırasında kullanılan asıl veri setine ve tokenizer'a aşağıdaki linklerden ulaşabilirsiniz:

• Dataset: Mer1Alii/TR-ECommerce-CustomerSupport-Instructions
• Tokenizer: Mer1Alii/TR-ECommerce-CustomerSupport-Tokenizer