gemma-3-4b-ogrenci-chatbot-lora

gemma-3-4b-ogrenci-chatbot-lora

unsloth/gemma-3-4b-it temel alinarak egitilmis bir LoRA adaptoru. Model, MEB ortaokul (5-8. sinif) mufredatindaki konulari ogrencilere seviyelerine uygun, sicak ve aciklayici bir dille anlatan bir chatbot olarak tasarlanmistir.

Amac

Ogrencinin sordugu bir soruya ("Ay'in evreleri neden olusuyor?", "Fiilimsi nedir?"), ortaokul seviyesini asmayan, dogru ve ogretici bir aciklama vermek.

Veri

Egitim verisi, MEB ortaokul ders kitaplarinin (Fen Bilimleri, Turkce, Din Kulturu, Sosyal Bilgiler; 5-8. siniflar) konu anlatim metinlerinden uretilmis soru-cevap ciftleridir. Cevaplar kitaplardaki bilgiye sadik kalacak sekilde olusturulmustur.

• Egitim: 376 diyalog
• Test (egitimde kullanilmadi): 41 diyalog — ozel benchmark icin ayrildi

Not: Veri seti aktif olarak buyutulmektedir; bu v1 (ilk) surumdur. Sonraki surumlerde daha fazla kitap ve konu eklenerek kapsam genisletilecektir.

Egitim detaylari

• Temel model: unsloth/gemma-3-4b-it
• Framework: Unsloth + TRL (SFT)
• Yontem: LoRA (r=16, alpha=16, dropout=0), 4-bit (QLoRA)
• Hedef moduller: q/k/v/o_proj, gate/up/down_proj
• Epoch: 3 | LR: 2e-4 | Batch: 4 (grad accum 4)
• Optimizer: adamw_8bit | Scheduler: linear | Seed: 42
• Egitim: sadece asistan cevabi uzerinden (train_on_responses_only)

Kullanim

from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained("nursimakgul/gemma-3-4b-ogrenci-chatbot-lora", load_in_4bit=True)

messages = [{"role": "user", "content": "Ay'in evreleri neden olusuyor?"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(input_ids=inputs, max_new_tokens=350, temperature=0.7, do_sample=True)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

Sinirlamalar

Kucuk bir veri setiyle (v1) egitilmistir; kapsami sinirlidir ve ciktilarin dogrulugu her zaman garanti degildir. Egitim/deneysel amaclidir; ders materyali olarak kullanmadan once icerik kontrolu onerilir.

Özel Benchmark Sonuçları

Model, eğitimde hiç kullanılmayan 41 soruluk test setiyle değerlendirildi. Test seti, eğitim verisiyle aynı kaynaktan (MEB kitap anlatımları) %10 ayrımla en baştan ayrılmıştır. Ölçüm: modelin cevabı ile referans cevap arasındaki anlamsal benzerlik (paraphrase-multilingual-mpnet-base-v2, 0-1 arası).

Fine-tuned modelin base modele göre referans cevaplara daha yakın çıktılar üretmesi, eğitimin hedeflenen davranışı (müfredat bilgisini seviyeye uygun anlatma) kazandırdığını gösterir. Test seti küçüktür (v1); veri seti büyüdükçe benchmark da genişletilecektir.

Özel Benchmark Sonuçları

Model, kendi senaryoma özel hazırladığım 101 soruluk benchmark ile 5 farklı modelde değerlendirildi. Sorular MEB ortaokul müfredatı konularına dayanır; bir kısmı eğitim verisinden ayrılan test dilimi, bir kısmı bu benchmark için özel hazırlanmış (en az 11'i elle yazılmış) yeni sorulardır. Hiçbiri eğitimde kullanılmadı. Ölçüm, modelin cevabı ile referans cevap arasındaki anlamsal benzerliktir (0-1).

Benchmark ayrıca bir veri seti olarak yayınlanmıştır: nursimakgul/meb-ogrenci-chatbot-benchmark.

Not: Veri seti ve benchmark aktif olarak geliştirilmektedir; bu v1 sürümdür.