gemma_4_2b_lora

Uploaded finetuned model

• Developed by: umutagrmn
• License: apache-2.0
• Finetuned from model : unsloth/gemma-4-e2b-it-unsloth-bnb-4bit

Model Kartı: Gemma 4 2B Düzce Staj Asistanı

Model Özeti

Bu model, Düzce Üniversitesi Bilgisayar Mühendisliği Bölümü staj sürecine ilişkin sorulara cevap verebilecek şekilde ince ayar edilmiş bir Türkçe soru-cevap modelidir. Amaç, öğrencilerin staj süreciyle ilgili sık sorulan sorulara daha doğru ve bağlamsal cevaplar üretmesini sağlamaktır.

Bu sürüm, temel bir Gemma 4 2B taban modeli üzerine LoRA ile ince ayar uygulanmış bir adaptör modelidir.

Model Detayları

• Model ailesi: Gemma 4 2B tabanlı dil modeli
• İnce ayar yöntemi: LoRA adaptör ile ince ayar
• Eğitim hedefi: Staj rehberliği için Türkçe sık sorulan sorulara cevap verme
• İnce ayar verisi: Düzce Üniversitesi Bilgisayar Mühendisliği staj süreçleriyle ilgili soru-cevap verileri
• Veri boyutu: 360 eğitim örneği ve 140 değerlendirme örneği
• Eğitim donanımı: NVIDIA T4 GPU (15 GB VRAM)
• Önemli eğitim ayarları:
  • max_seq_length = 512
  • load_in_4bit = True
  • r = 16
  • lora_alpha = 16
  • lora_dropout = 0.05
  • bias = "none"
  • num_train_epochs = 2

Kullanım Amaçları

Bu model aşağıdaki amaçlarla kullanılabilir:

• Düzce Üniversitesi Bilgisayar Mühendisliği staj süreci hakkında genel bilgi verme
• Staj başvurusu, belge yükleme, OBS, rapor, tarih ve süre gibi konularda yardımcı olma
• Türkçe soru-cevap akışında örnek bir bilgi asistanı olarak kullanma

Kapsam Dışı Kullanımlar

Bu model aşağıdaki durumlar için uygun değildir:

• Resmî ve bağlayıcı üniversite/kurum bilgisi verme
• Yasal, resmi veya güncel mevzuat yorumlama
• Kişiye özel staj onayı veya kurum içi karar verme

Eğitim Verisi

Eğitim verisi, Düzce Üniversitesi Bilgisayar Mühendisliği staj sayfasından derlenen sık sorulan sorular ve bu sorulara karşılık gelen Türkçe soru-cevap örneklerinden oluşturulmuştur.

Değerlendirme Sonuçları

140 örnek üzerinden yapılan değerlendirmede aşağıdaki sonuçlar elde edilmiştir:

• Base win %: 13.57
• LoRA win %: 85.0
• Tie %: 1.43
• Base judge score avg %: 52.39
• LoRA judge score avg %: 81.14

Bu sonuçlar, ince ayar edilmiş LoRA modelinin temel modele göre daha iyi performans gösterdiğini desteklemektedir.

Sınırlamalar

• Model, güncel kurum kurallarına her zaman uyumlu olmayabilir.
• Cevaplar, belirli bir dönemde geçerli olan mevzuata göre değişebilir.
• Özellikle karmaşık veya spesifik durumlarda kullanıcıdan resmi kaynak doğrulaması istenmelidir.
• Model, yanlış ama ikna edici cevaplar üretme riski taşır.

Kullanım Örneği

Bu model, uygun bir temel model ile LoRA adaptörü birleştirilerek kullanılabilir. Aşağıdaki örnek, kullanım mantığını göstermektedir:

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base_model_id = "<base-model-id>"
adapter_model_id = "umutagrmn/gemma_4_2b_lora"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)
base_model = AutoModelForCausalLM.from_pretrained(base_model_id)
model = PeftModel.from_pretrained(base_model, adapter_model_id)

prompt = "Düzce Üniversitesinde staj başvurusu nasıl yapılır?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Atıf

Bu modeli kullanırsanız, lütfen ilgili depo ve Hugging Face kaynaklarını referans gösterin.

Bağlantılar

• Veri seti: https://huggingface.co/datasets/umutagrmn/duzce-bm-staj-sikca-sorulan-sorular
• İnce ayar edilmiş model: https://huggingface.co/umutagrmn/gemma_4_2b_lora