gemma_3_lora

Gemma 3 4B Türkçe Atasözleri Modeli

Model Açıklaması

Bu model, Gemma 3 4B Instruct modeli temel alınarak Türkçe atasözlerini açıklama görevi için fine-tune edilmiştir.

Modelin eğitimi sırasında YusufSimsek/turkce-atasozleri-dataset veri seti kullanılmıştır. Bu veri seti, Türkçe atasözleri hakkında sorulan farklı biçimlerdeki kullanıcı sorularını ve bu atasözlerinin açıklamalarını içeren konuşma formatındaki örneklerden oluşmaktadır.

Fine-tuning işlemi LoRA (Low-Rank Adaptation) yöntemi ve Unsloth kütüphanesi kullanılarak gerçekleştirilmiştir.

Amaç

Modelin temel amacı, kullanıcı tarafından verilen Türkçe atasözlerini anlayarak bunların anlamlarını açık, kısa ve anlaşılır bir Türkçe ile açıklamaktır.

Örnek kullanıcı soruları:

• “Damlaya damlaya göl olur atasözünün anlamı nedir?”
• “Ayağını yorganına göre uzat sözü ne anlatmaktadır?”
• “Şu atasözünü açıklar mısın: Ak akçe kara gün içindir?”
• “Sakla samanı, gelir zamanı atasözü hangi durumlarda kullanılır?”

Kullanım Alanları

Model aşağıdaki görevlerde kullanılabilir:

• Türkçe atasözlerinin anlamlarını açıklama
• Atasözleriyle ilgili soru-cevap uygulamaları geliştirme
• Türkçe eğitim uygulamalarına içerik sağlama
• Türk kültürü ve söz varlığı üzerine çalışan sohbet botları geliştirme
• Atasözlerini günlük kullanım bağlamıyla açıklama

Kullanım Örneği

from transformers import pipeline

model_id = "YusufSimsek/gemma_3_lora"

pipe = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

messages = [
    {
        "role": "user",
        "content": "Damlaya damlaya göl olur atasözünü açıklar mısın?"
    }
]

output = pipe(
    messages,
    max_new_tokens=128,
    temperature=0.7,
    do_sample=True
)

print(output[0]["generated_text"][-1]["content"])

Eğitim Bilgileri

• Temel model: Gemma 3 4B Instruct
• Fine-tuning yöntemi: LoRA
• Eğitim kütüphanesi: Unsloth
• Eğitim dili: Türkçe
• Eğitim görevi: Türkçe atasözlerini açıklama
• Veri formatı: Kullanıcı ve asistan mesajlarından oluşan konuşma formatı
• Veri seti: YusufSimsek/turkce-atasozleri-dataset

Benchmark Değerlendirme Sonuçları

Modelin genel performansını değerlendirmek amacıyla farklı alanlardan çoktan seçmeli sorular içeren bir test uygulanmıştır. Aşağıdaki tabloda fine-tune edilen model ile farklı açık kaynaklı dil modellerinin genel değerlendirme sonuçları karşılaştırılmaktadır.

Temel Model ile Karşılaştırma

Fine-tune edilen modelin sonuçları, temel model olan google/gemma-3-4b-it ile ayrıca karşılaştırılmıştır.

Fine-tune edilen YusufSimsek/gemma_3_lora modeli, bu değerlendirmede temel Gemma 3 4B modeline göre 92,72 saniye daha kısa sürede sonuç üretmiştir. Buna karşılık genel başarı oranı temel modelden 2,85 yüzde puan daha düşük gerçekleşmiştir.

Not: Model, Türkçe atasözlerini açıklama görevi için özelleştirilmiştir. Bu nedenle farklı akademik ve genel kültür alanlarından oluşan bu benchmark, modelin atasözü açıklama yeteneğini doğrudan ölçmekten ziyade genel soru cevaplama performansını göstermektedir.

Geliştirici

Model ve eğitim veri seti Yusuf Şimşek tarafından hazırlanmıştır.

• Model: YusufSimsek/gemma_3_lora
• Veri seti: YusufSimsek/turkce-atasozleri-dataset

• Developed by: YusufSimsek
• License: apache-2.0
• Finetuned from model : unsloth/gemma-3-4b-it-unsloth-bnb-4bit

This gemma3 model was trained 2x faster with Unsloth and Huggingface's TRL library.

<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>