Downloads · 30 days
0
lojistik-bpe-tokenizer
cihatyldz/lojistik-bpe-tokenizer
lojistik-bpe-tokenizer is a machine learning model from cihatyldz. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
Türkçe lojistik metinleri üzerinde eğitilmiş BPE (Byte Pair Encoding) tokenizer.
Access
Public
Updated Jul 21, 2026
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.json205 KB · 99%
At a glance
- Access
- Public
- Created
- Jul 21, 2026
- Updated
- Jul 21, 2026
- SHA
- d54b5b91
Model card
From the Hugging Face model README
Lojistik BPE Tokenizer
Türkçe lojistik metinleri üzerinde eğitilmiş BPE (Byte Pair Encoding) tokenizer.
Özellikler
- Vocab boyutu: 2907
- Algoritma: BPE (Byte Pair Encoding)
- Eğitim verisi: Lojistik soru-cevap veri seti (139 örnek)
- Dil: Türkçe
Kullanım
from tokenizers import Tokenizer
tokenizer = Tokenizer.from_file("tokenizer.json")
output = tokenizer.encode("Araç rotalama optimizasyonu nedir?")
print(output.tokens)
- Languages
- tr
- Created
- Jul 21, 2026
- Updated
- Jul 21, 2026