gemma-3-finetune-thinking

Gemma-3-1B İstatistik Fine-Tune (Türkçe Chain-of-Thought, Muhakemeli Varyant)

Bu model, Google'ın Gemma-3-1B-IT modeli üzerine Türkçe istatistik konularında görünür düşünce zinciri (chain-of-thought) üreterek cevap vermesi için fine-tune edilmiştir. Model, nihai cevabını vermeden önce <think>...</think> etiketleri arasında iç muhakeme sürecini açıkça yazar, ardından bu muhakemeye dayanan nihai açıklamasını sunar.

Bu, aynı veri setiyle eğitilmiş Toivo0/gemma-3-finetune modelinin muhakemeli (thinking) varyantıdır. Kardeş model doğrudan/kısa cevap üretirken, bu model önce düşünce sürecini görünür şekilde yazar. İki varyant, hangi yaklaşımın istatistik eğitimi senaryosu için daha uygun olduğunu karşılaştırmak amacıyla aynı veri ve aynı split ile paralel olarak eğitilmiştir.

Model Bilgileri

Eğitim Veri Seti Hakkında

Model, 7 istatistik modülünü kapsayan 400 soru-cevap çiftiyle eğitilmiştir. Veri setindeki her örnek, bir kullanıcı sorusu ve modelin hem iç muhakeme sürecini (thinking) hem de nihai açıklamasını (content) içeren bir asistan yanıtından oluşur. Bu varyantta, thinking alanı eğitim hedefine <think>...</think> etiketleri arasına yerleştirilerek dahil edilmiştir — yani model, cevap vermeden önce muhakeme adımlarını üretmeyi de öğrenmiştir.

Kapsanan Konular:

Kullanım

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "Toivo0/gemma-3-finetune_deneme"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

messages = [{"role": "user", "content": "Hipotez testinde p-değeri ne anlama gelir?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# Not: muhakeme adimi cevaba ekleniyor, bu yuzden thinking'siz varyanta gore
# daha fazla token payi birakmak gerekir.
outputs = model.generate(**inputs, max_new_tokens=900, do_sample=False)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)

Çıktı Formatı

Model, cevabını şu şekilde yapılandırır:

<think>
(modelin iç muhakeme süreci — soruyu nasıl ele aldığı, hangi kavramları
göz önünde bulundurduğu)
</think>
(nihai, kullanıcıya gösterilecek açıklama)

Sadece nihai cevabı almak isterseniz </think> etiketinden sonrasını ayıklayabilirsiniz:

if "</think>" in response:
    nihai_cevap = response.split("</think>", 1)[1].strip()
else:
    nihai_cevap = response.strip()

Benchmark Sonuçları

Bu model, doğrudan cevap varyantı, taban Gemma ve Qwen olmak üzere dört model, eğitimde kullanılmamış 100 sorudan oluşan Türkçe İstatistik Benchmark üzerinde karşılaştırılmıştır. Nihai cevaplar anlamsal benzerlik ve LLM-as-a-Judge yöntemleriyle ayrı ayrı değerlendirilmiştir; yöntem açıklamaları ve model bazında sonuçlar benchmark reposunda yer almaktadır.

Bilinen Sınırlamalar

• Muhakeme adımı, thinking'siz varyanta göre çıktı uzunluğunu ve üretim süresini belirgin şekilde artırır.
• Model 1B parametreli küçük bir dil modelidir; muhakeme adımları bazen yüzeysel veya tekrarlayıcı olabilir.
• Veri setinin bu sürümü hesaplama (sayısal problem çözme) sorularını içermez.

---

This gemma3_text model was trained 2x faster with Unsloth and Huggingface's TRL library.

<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>