gemma-3-1b-turkish-seo-reasoning-lora

Gemma 3 1B Turkish SEO Reasoning LoRA

Bu model, Gemma 3 1B IT taban modelinin Türkçe SEO denetimi görevlerine uyarlanmış LoRA fine-tune sürümüdür. Model; kendisine verilen sayfa veya site kanıtını inceleyip kısa bir gerekçe, SEO kararı ve uygulanabilir öneriler üretmek üzere eğitilmiştir.

Bu çalışma 30 adımlık bir pilot fine-tune'dur. Tam epoch eğitimi, doğrulama değerlendirmesi veya sıralama garantisi olarak yorumlanmamalıdır.

Model özeti

Model deposu hem LoRA adapter dosyasını hem de birleştirilmiş model ağırlığını içerir. adapter_model.safetensors yaklaşık 26.1 MB, model.safetensors yaklaşık 2.0 GB boyutundadır.

Amaçlanan davranış

Modelden şu çıktı sırası beklenir:

1. Verilen kanıta dayalı kısa bir gerekçe
2. Açık bir SEO kararı
3. Uygulanabilir öneriler

Beklenen cevap biçimi:

Gerekçe: ...

Karar: ...

Öneriler:
- ...
- ...

Modelde tool-call eğitimi yapılmamıştır. reasoning ifadesi gizli düşünce zincirini değil, kullanıcıya gösterilebilir ve denetlenebilir kısa gerekçeyi anlatır.

Eğitim verisi

Turkish SEO Reasoning veri seti Google Search Central ilkelerine dayalı özgün Türkçe SEO vakalarından oluşur.

Test split'i eğitimden önce ayrılmış ve Trainer'a verilmemiştir. Test kümesinde 12 kategori ve 12 tamamen elle hazırlanmış soru bulunur.

Eğitim yapılandırması

LoRA; language model attention ve MLP projeksiyonlarına uygulanmıştır. Görsel katmanlar eğitilmemiştir. Kullanıcı mesajları loss hesabında maskelenmiş, yalnızca assistant cevapları eğitilmiştir.

Eğitim sonuçları

Loss genel olarak düşmüş olsa da son adımlarda dalgalanma vardır. Bu grafik yalnızca training loss gösterir; validation loss ölçülmemiştir. Etkin batch büyüklüğü 8 olduğundan 1.080 örnek için yaklaşık 135 adım bir epoch eder. Çalışma 30 adımda, yaklaşık 0,22 epoch seviyesinde sonlanmıştır.

Notebook çıktısındaki değerler CUDA reserved-memory ölçümüdür; toplam gerçek donanım tüketimi olarak yorumlanmamalıdır.

Kullanım

Transformers PEFT entegrasyonuyla

Depoda adapter_config.json bulunduğu için güncel Transformers/PEFT entegrasyonu base modeli ve LoRA adapter'ını birlikte yükler.

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "berkbirkan/gemma-3-1b-turkish-seo-reasoning-lora"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
)

prompt = """Sen Google Search Central ilkelerine dayalı bir Türkçe SEO denetim asistanısın.
Yalnızca verilen kanıtlardan hareket et. Önce kısa ve denetlenebilir bir gerekçe,
ardından karar ve uygulanabilir öneri ver. Sıralama garantisi verme.

Soru: Bu URL'nin indekslenebilirliğini değerlendirin.

Kanıt:
URL 200 döndürüyor.
HTTP yanıtında X-Robots-Tag: noindex bulunuyor."""

messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    do_sample=False,
)

answer = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[-1]:],
    skip_special_tokens=True,
)
print(answer)

AutoPeftModel ile açık adapter yükleme

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

model_id = "berkbirkan/gemma-3-1b-turkish-seo-reasoning-lora"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoPeftModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
)

Benchmark

120 soruluk kilitli benchmark; robots/indexing, canonical, redirects, sitemap, title links, snippets, structured data, helpful content, hreflang, internal links, JavaScript SEO ve SEO mitleri kategorilerini kapsar.

Benchmark, NVIDIA Tesla T4 üzerinde Hugging Face Jobs kullanılarak altı model/checkpoint ile tamamlandı.

Fine-tuned model aynı Gemma 3 1B base checkpoint'ine göre:

• +10,2781 mutlak puan
• %85,97 göreli artış
• 12 kategorinin tamamında daha yüksek skor
• 120 soruda sıfır inference hatası

Puan; gerekçe token-F1 (%30), karar token-F1 (%40), öneriler token-F1 (%20) ve çıktı formatından (%10) oluşur. Bu lexical ölçüm anlamsal olarak doğru farklı ifadeleri düşük puanlayabilir. Fine-tuned model beklenen cevap formatıyla eğitildiğinden format bakımından doğal avantaja sahiptir.

Ham 720 model yanıtı, revision bilgileri, kategori skorları ve çalışma manifestleri:

https://huggingface.co/datasets/berkbirkan/turkish-seo-reasoning-benchmark-results

Sınırlamalar

• Eğitim yalnızca 30 adım sürmüştür; tam epoch değildir.
• Validation split veya validation loss kullanılmamıştır.
• Otomatik benchmark lexical benzerliğe duyarlıdır ve insan uzman değerlendirmesinin yerini tutmaz.
• Veri büyük ölçüde kontrollü ve sentetik SEO senaryolarından oluşur.
• Model güncel olmayan SEO ilkelerini zaman içinde tekrar edebilir.
• Model canlı siteyi taramaz ve Search Console verisine erişmez.
• Modelin önerileri uzman incelemesinin yerini tutmaz.
• SEO görünürlüğü veya sıralaması garanti edilmez.
• Kanıt yetersizse model yine de aşırı kesin cevap üretebilir.

Yeniden üretilebilirlik

• Tamamlanmış eğitim notebook'u: https://colab.research.google.com/drive/1BoPKf-a7msrIs1zuG3BggeTU1Ux06HJo
• Veri seti: https://huggingface.co/datasets/berkbirkan/turkish-seo-reasoning
• Base model: https://huggingface.co/unsloth/gemma-3-1b-it-unsloth-bnb-4bit
• Eğitim metrikleri: training_metrics.json

Lisans ve atıf

Model, Gemma kullanım koşullarına tabidir. Veri setindeki türetilmiş Türkçe senaryoların lisans ve kaynak bilgileri veri seti kartında açıklanmıştır.

Bu model araştırma ve eğitim amaçlıdır.