Downloads · 30 days
0
bpe-deneyleri-tr
namruni/bpe-deneyleri-tr
bpe-deneyleri-tr is a machine learning model from namruni. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for tokenizers. The card lists the license as apache-2.0.
Bu repo bir öğrenme çalışmasıdır: BPE (Byte-Pair Encoding) algoritması önce kütüphanesiz, elle yazıldı; sonra aynı algoritma Hugging Face tokenizers kütüphanesiyle iki farklı Türkçe derlemde eğitilip karşılaştırıldı.
Access
Public
Updated Jul 19, 2026
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.txt70.2 KB · 59%
At a glance
- Library
- tokenizers
- License
- apache-2.0
- Access
- Public
- Created
- Jul 19, 2026
- Updated
- Jul 19, 2026
- SHA
- 7501db4c
Model card
From the Hugging Face model README
BPE Deneyleri (Türkçe) — Elle Algoritma + İki Küçük Derlem
Bu repo bir öğrenme çalışmasıdır: BPE (Byte-Pair Encoding) algoritması
önce kütüphanesiz, elle yazıldı; sonra aynı algoritma Hugging Face
tokenizers kütüphanesiyle iki farklı Türkçe derlemde eğitilip
karşılaştırıldı.
Üretim için değil, yöntemi göstermek içindir. Alan-içi gerçek kullanım için devamı olan tokenizer'a bakın: namruni/meb-ogretmen-tokenizer
İçerik
| Dosya | Ne |
|---|---|
elle_bpe.py | BPE'nin kütüphanesiz, ~30 satırlık gerçeklemesi (say → en sık çifti yapıştır → tekrarla) |
vocab.json | Elle BPE'nin 5 kelimelik oyuncak derlemden ürettiği 16 girişlik sözlük |
bpe_egit.py | tokenizers ile byte-level BPE eğiten parametreli betik |
yer_isimleri_bpe.json | Deney 1 — 4.793 yer ismi, sözlük 512 |
metin_bpe.json | Deney 2 — 872 kelimelik deneme yazısı, sözlük 384 |
metin.txt | Deney 2'nin metni |
temiz_yer_isimler.txt | Deney 1'in derlemi (ayrı veri seti) |
CALISMA_NOTLARI.md | Özgün çalışma raporu (bulgular ve gerekçeler) |
Sayısal sonuçlar
| Deney 1: yer isimleri | Deney 2: düz metin | |
|---|---|---|
| Veri | 4.793 kelime / 50.604 karakter | 872 kelime / 6.044 karakter |
| Sözlük | 512 | 384 |
| BPE token sayısı | 13.107 | 3.338 |
| Sıkıştırma | 3,86 karakter/token | 1,81 karakter/token |
| Kelime başına | 2,73 token | 3,83 token |
| Kayıpsız geri çözme | ✓ | ✓ |
Karakter düzeyinde aynı derlem 50.604 token'dı; BPE bunu 13.107'ye indirdi (~3,9×).
Öne çıkan bulgular
- Yapı taşları kendiliğinden doğdu. Yer isimleri sözlüğünde
köy,pınar,kara,dere,şehirtek token oldu — kimse söylemeden, sadece sıklıktan. - İki sözlüğün ortak DNA'sı Türkçe ekleri. Kesişimdeki 37 token
lar,ler,la,le,lı… Biri kelime listesi, öbürü deneme yazısı; ikisi de dilin morfolojisini istatistikten keşfetti. - Tokenizer, veri kalitesinin röntgenidir. Sözlükte
cevız(noktasız ı) token'ının belirmesi, ham veride 37 kez geçen yazım bozukluğunu ortaya çıkardı — daha önce "model hatası" sanılan çıktının kaynağı veriymiş. - Boşluk token'ın parçasıdır. Düz metin sözlüğünde kelimeler
ve,birgibi başı boşluklu yaşar (GPT sözlüklerindekiĠ). Kelime listesinde boşluk olmadığı için Deney 1'de bu görülmez. - Bayt gösterimi bozulma değildir.
ö(ö),ı(ı),ÅŁ(ş) dizileri UTF-8 baytlarının görünür yazımıdır;decodeher zaman doğru Türkçe'yi geri verir.
Ayrıntılı gerekçeler için CALISMA_NOTLARI.md.
Kaynak
- Library
- tokenizers
- License
- apache-2.0
- Languages
- tr
- Created
- Jul 19, 2026
- Updated
- Jul 19, 2026