Downloads · 30 days
0
turkish-fen-tokenizer-v1
nursimakgul/turkish-fen-tokenizer-v1
turkish-fen-tokenizer-v1 is a machine learning model from nursimakgul. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
Bu tokenizer ortaokul fen bilgisi müfredatına özel olarak eğitilmiş bir Türkçe BPE tokenizer'dır.
Access
Public
Updated Sep 10, 2025
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
Other1.5 KB · 61%
At a glance
- License
- mit
- Access
- Public
- Created
- Sep 10, 2025
- Updated
- Sep 10, 2025
- SHA
- 2c30fd26
Try a prompt
Model card
From the Hugging Face model README
Türkçe Fen Bilgisi Tokenizer
Bu tokenizer ortaokul fen bilgisi müfredatına özel olarak eğitilmiş bir Türkçe BPE tokenizer'dır.
Kullanım
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("nursimakgul/turkish-fen-tokenizer-v1")
text = "Atom nedir?"
tokens = tokenizer.encode(text)
print(tokens)
Özellikler
Vocab boyutu: 50,000
Türkçe fen bilgisi metinleriyle eğitildi
Özel tokenlar içerir
- License
- mit
- Languages
- tr
- Created
- Sep 10, 2025
- Updated
- Sep 10, 2025