gemma-4-12b-cetvel

cumhuronat/gemma-4-12b-cetvel

Bu repo, google/gemma-4-12B modelinin Türkçe CETVEL görevlerine yönelik completion eğitimi sonucunda üretilen LoRA adapter artifact'ini içerir. Eğitim pipeline'ı Cumhur Onat tarafından hazırlanmıştır.

Çalışma durumu: Tek referans reçetesiyle tamamlanan 3 epoch LoRA eğitimi.

Birleştirilmiş model: cumhuronat/gemma-4-12b-cetvel-merged

Amaçlanan kullanım

Model; Türkçe soru cevaplama, çoktan seçmeli soru çözme, sınıflandırma, doğal dil çıkarımı, çeviri, özetleme ve dilbilgisel düzeltme deneyleri için tasarlanmıştır. Prompt/completion biçiminde eğitilmiştir; chat veya instruction-tuned bir model olduğu varsayılmamalıdır.

Kullanım

bf16 destekleyen bir GPU önerilir. Gerekli runtime paketleri:

pip install "transformers>=5.5" peft accelerate sentencepiece

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

tokenizer = AutoTokenizer.from_pretrained("google/gemma-4-12B")
base = AutoModelForCausalLM.from_pretrained(
    "google/gemma-4-12B", dtype=torch.bfloat16, device_map="auto"
)
model = PeftModel.from_pretrained(base, "cumhuronat/gemma-4-12b-cetvel")

prompt = "Soru: Türkiye'nin başkenti neresidir?\nCevap:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=64, do_sample=False)
answer = output[0, inputs["input_ids"].shape[1]:]
print(tokenizer.decode(answer, skip_special_tokens=True))

Eğitim verisi

• Dataset: cumhuronat/cetvel-training-data
• Referans reçete: 29 kaynak
• Hedef token bütçesi: 5,225,000
• Reçete SHA-256: afd64ba5cfb54e330175d0e82438241e19be4657cdd4371360f7feea72a4196c
• Seed: 42
• Decontamination: açık

Karışım; CETVEL biçimindeki eğitim split'lerini, Türkçe/İngilizce instruction verisini, sentetik görev örneklerini ve deterministik cevap-formatı örneklerini içerir. Decontamination açıkken eğitim örnekleri CETVEL değerlendirme split'leri ile normalize 8-gram çakışmasına karşı elenir. Dataset'in ve bileşenlerinin lisansları model lisansından bağımsızdır.

Eğitim yapılandırması

LoRA hedef modülleri: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.

CETVEL değerlendirmesi

Model ve google/gemma-4-12B baseline'ı aynı official CETVEL protokolüyle değerlendirildi. LoRA adapter ile birleştirilmiş model aynı eğitilmiş LoRA ağırlıklarını temsil eder; aşağıdaki fine-tuned sonuçlar cumhuronat/gemma-4-12b-cetvel-merged üzerinden ölçüldü.

Genel skor, yedi kategori skorunun makro ortalamasıdır. Eğitilmiş model baseline'a göre +18.38 puan ve göreli olarak %55.98 artış gösterdi. Skorlar 0-100 ölçeğindedir.

<details> <summary>Görev bazında sonuçlar</summary> </details>

Değerlendirme 20 Temmuz 2026 UTC tarihinde tamamlandı. Kullanılan protokol:

• CETVEL görev kaynağı: commit 6119c517e06cce23aaeac103ce3504c9380655e3
• Değerlendirme altyapısı: lm-eval==0.4.12
• Ayarlar: 0-shot, seed 42, azami giriş uzunluğu 8192
• NLU: otomatik batch size
• NLG: batch size 1, beam size 5, max_new_tokens=64; göreve özgü max_gen_toks tanımları önceliklidir
• Donanım: RunPod üzerinde 8x NVIDIA A100-SXM4-80GB

Smoke sonuçları yalnızca teknik tanı içindir ve benchmark skoru olarak raporlanmamıştır.

Sınırlamalar

• CETVEL odaklı eğitim, benchmark dışındaki genel yeteneklerde iyileşme garantisi vermez.
• Sentetik ve açık kaynak veriler olgusal hata, önyargı veya zararlı içerik taşıyabilir.
• Model yanlış, eski ya da güvenli olmayan yanıtlar üretebilir; yüksek riskli kullanımda insan doğrulaması gerekir.
• Türkçe dışındaki diller ve chat biçimi sistematik olarak doğrulanmamıştır.

Lisans ve atıf

Model kullanımı Google Gemma şartlarına tabidir. Pipeline kodunun Apache-2.0 lisansı base modelin, dataset'lerin veya bu ağırlıkların lisansını değiştirmez. Veri kaynaklarının kullanım ve atıf koşullarını ayrıca inceleyin.

Pipeline atfı: Cumhur Onat, CETVEL Training (2026).