gemma-3-finetune

Gemma-3-1B İstatistik Fine-Tune (Türkçe, Doğrudan Cevap Varyantı)

Bu model, Google'ın Gemma-3-1B-IT modeli üzerine Türkçe istatistik konularında soru-cevap yapabilmesi için fine-tune edilmiştir. Model, ara muhakeme adımlarını göstermeden doğrudan nihai açıklamayı üretir.

Aynı veri setiyle eğitilmiş, cevap vermeden önce görünür bir düşünce zinciri (<think>...</think>) üreten bir muhakemeli varyant da mevcuttur: Toivo0/gemma-3-finetune-thinking. İki varyant, hangi yaklaşımın istatistik eğitimi senaryosu için daha uygun olduğunu karşılaştırmak amacıyla aynı veri ve aynı split ile paralel olarak eğitilmiştir.

Model Bilgileri

Eğitim Veri Seti Hakkında

Model, 7 istatistik modülünü kapsayan 400 soru-cevap çiftiyle eğitilmiştir. Veri setindeki her örnek, modelin iç muhakeme sürecini (thinking) ve nihai açıklamasını (content) ayrı alanlar olarak içerir — ancak bu varyantın eğitiminde yalnızca nihai açıklama (content) kullanılmış, thinking alanı eğitim hedefine dahil edilmemiştir. Bu sayede model, ara adımları göstermeden doğrudan ve daha kısa cevaplar üretir.

Kapsanan Konular:

Kullanım

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Toivo0/gemma-3-finetune"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

messages = [{"role": "user", "content": "Hipotez testinde p-değeri ne anlama gelir?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=512, do_sample=False)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)

---

Türkçe İstatistik Benchmark Sonuçları

Bu model, reasoning varyantı, taban Gemma ve Qwen olmak üzere dört model, eğitimde kullanılmamış 100 sorudan oluşan Türkçe İstatistik Benchmark üzerinde karşılaştırılmıştır. Nihai cevaplar anlamsal benzerlik ve LLM-as-a-Judge yöntemleriyle ayrı ayrı değerlendirilmiştir; yöntem açıklamaları ve model bazında sonuçlar benchmark reposunda yer almaktadır.

📊 Türkçe MMLU Benchmark Sonuçları

Bu model, 6200 sorudan oluşan Türkçe MMLU benchmark testi ile taban model ve fine-tune edilmiş model üzerinde karşılaştırmalı olarak test edilmiştir.

📈 Genel Başarı Karşılaştırması

🏆 En Çok Gelişim Gösteren Alanlar (Top 10)

📉 En Çok Düşüş Gösteren Alanlar (Top 5)

📚 Tüm Kategorilerin Detaylı Başarı Tablosu

<details> <summary>62 kategorinin tamamını görmek için tıklayın</summary> </details>

Sonuç Yorumu

Bu fine-tune, istatistik alanına özel bir eğitimdir. MMLU testi ise 62 farklı genel bilgi kategorisini ölçmektedir. Genel başarıda gözlemlenen -0.87%'lik düşüş, 1B parametreli küçük bir modelde alan-spesifik fine-tuning'in beklenen bir sonucudur.

---

This gemma3_text model was trained 2x faster with Unsloth and Huggingface's TRL library.

<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>