meb-ogretmen-tokenizer

MEB Öğretmen Tokenizer (Türkçe BPE)

Türkçe eğitim/mevzuat alanında eğitilmiş byte-level BPE tokenizer. Derlem: MEB öğretmen forum konuları — 1.022 konu, 12.446 satır, 544.065 kelime / 3,9 MB.

Eşlik eden veri seti: namruni/meb-ogretmen-soru-cevap

Kullanım

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("namruni/meb-ogretmen-tokenizer")
tok.tokenize("Mazerete bağlı il dışı atama başvurusu nasıl yapılır?")

veya doğrudan:

from tokenizers import Tokenizer
tok = Tokenizer.from_file("tokenizer.json")

Sonuçlar

Fertility, eğitimde görülmemiş %5'lik dilimde (623 satır) ölçüldü. Düşük fertility = aynı metni daha az token'la temsil etmek = daha iyi.

Alan-içi Türkçe metinde Qwen2.5'in genel amaçlı tokenizer'ından ~1,7× daha verimli — 9× küçük sözlükle.

Neden 16k ana sürüm?

32k'nın fertility avantajı yalnızca %6,8, buna karşılık sözlük iki katına çıkıyor. Sözlük bileşimine bakınca eklenen yuvaların nereye gittiği görülüyor:

Eklenen bütçenin büyük kısmı gerçekleştirilecektir, görevlendirileceklere gibi nadir tam kelimelere gidiyor. 544 bin kelimelik derlemde bu tokenların çoğu 2–3 kez görülmüş; yeni metinde karşılığı yok. Örnek cümlede iki tokenizer birebir aynı bölümlemeyi üretiyor. Bu yüzden genelleme gücü daha yüksek olan 16k ana sürüm seçildi; 32k karşılaştırma için repoda bırakıldı.

Yöntem

• Byte-level BPE (tokenizers kütüphanesi): hiçbir karakter <unk> olmaz. Derlem windows-1254'ten dönüştürüldüğü için bu bir sigorta.
• Küçük harfe çevirme yok. Türkçe'de i/İ ve ı/I dönüşümü bozulmaya yol açar; yalnızca Unicode NFC normalizasyonu uygulandı.
• min_frequency=2 — tek seferlik tesadüfler token olmasın.
• Özel tokenlar: <unk>, <pad>, <|im_start|>, <|im_end|>, <think>, </think> (ChatML + düşünce bloğu; veri setinin yapısıyla uyumlu).
• Eğitim/değerlendirme ayrımı %95/%5; fertility eğitim metninde değil, görülmemiş dilimde ölçüldü.

Soy ağacı

Yöntem, aynı yazarın önceki BPE çalışmasının devamıdır — orada algoritma önce kütüphanesiz elle yazılmış, sonra iki küçük derlemde karşılaştırılmıştı: namruni/bpe-deneyleri-tr · GitHub

Sınırlamalar

Tek alanda (MEB mevzuat/özlük Türkçesi) eğitildi; genel Türkçe metinde verimi daha düşük olabilir. Önceden eğitilmiş bir modelin tokenizer'ı bununla değiştirilemez — embedding matrisi kendi sözlüğüne bağlıdır.

Chat template

Bu repo, ChatML biçiminde bir chat_template.jinja içerir. system, user, assistant ve tool rollerini sarmalar; assistant mesajındaki tool_calls alanını <tool_call>...</tool_call> bloğu, aracın döndürdüğü sonucu ise ayrı bir tool turn'ü olarak işler. add_generation_prompt=True iken sona <|im_start|>assistant eklenir.

(altında apply_chat_template ile kısa Python örneği ve üretilen ChatML biçimi)