turkish-stemmer-t5-small

Turkish Stemmer - turkish-stemmer-t5-small

Model Açıklaması

mT5-small fine-tuned for Turkish stemming

Bu model, Türkçe kelimelerin köklerini (stem) bulmak için fine-tune edilmiş bir seq2seq modelidir. Türkçe morfolojik analiz görevleri için optimize edilmiştir.

Model Detayları

• Base Model: google/mt5-small
• Task: Text2Text Generation (Stemming)
• Language: Turkish (tr)
• Training Data: 5,500 kelime çifti (kelime → kök)
• Accuracy: 92.00%

Kullanım

Kurulum

pip install transformers torch

Temel Kullanım

from transformers import T5Tokenizer, T5ForConditionalGeneration

# Model ve tokenizer yükleme
model_name = "seyfullah2/turkish-stemmer-t5"
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

# Kök bulma fonksiyonu
def find_stem(word):
    input_text = f"kök bul: {word}"
    inputs = tokenizer(input_text, return_tensors="pt", max_length=64, truncation=True)
    
    outputs = model.generate(
        **inputs,
        max_length=64,
        num_beams=4,
        early_stopping=True,
        no_repeat_ngram_size=2
    )
    
    root = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return root.strip()

# Örnek kullanım
print(find_stem("kitaplardan"))  # → kitap
print(find_stem("evlerimizde"))  # → ev
print(find_stem("koşuyordum"))   # → koş

Batch İşleme

words = ["kitaplar", "evlerde", "geliyorum", "başladı"]

for word in words:
    stem = find_stem(word)
    print(f"{word} → {stem}")

Performans

Eğitim

Model şu hiperparametrelerle eğitildi:

• Epochs: 10
• Batch Size: 16
• Learning Rate: 5e-5
• Optimizer: AdamW
• Scheduler: Linear warmup
• Max Length: 64 tokens

Limitasyonlar

• Model Türkçe için optimize edilmiştir, diğer dillerde çalışmaz
• Çok nadir kelimeler veya özel isimler için hata oranı yüksek olabilir
• Ses olayları (k→ğ, p→b, t→d, ç→c) çoğunlukla doğru işlenir ama %100 değil

Veri Seti

Model, kelime-kök eşleşmeleri içeren özel bir Türkçe veri setiyle eğitildi:

• Toplam: ~36,000 kelime çifti
• Train: 70%
• Validation: 15%
• Test: 15%

Lisans

MIT License

İletişim

Sorular için: GitHub Issues

Alıntı

@misc{turkish-stemmer-2025,
  author = {seyfullah2},
  title = {Turkish Stemmer T5},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/seyfullah2/turkish-stemmer-t5}}
}