Downloads · 30 days
0
turkce-saglik-bpe-tokenizer
seali/turkce-saglik-bpe-tokenizer
turkce-saglik-bpe-tokenizer is a machine learning model from seali. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as mit.
Türkçe sağlık metinleri için sıfırdan eğitilmiş ByteLevel BPE tokenizer. Sözlük boyutu 32.000'dir.
Access
Public
Updated Jul 18, 2026
Repo size
—
Likes
1
Public
Repo makeup
Click a slice to open those files.
.json2.4 MB · 100%
At a glance
- Library
- transformers
- License
- mit
- Access
- Public
- Created
- Jul 18, 2026
- Updated
- Jul 18, 2026
- SHA
- aab2238a
Model card
From the Hugging Face model README
Türkçe Sağlık BPE Tokenizer
Türkçe sağlık metinleri için sıfırdan eğitilmiş ByteLevel BPE tokenizer. Sözlük boyutu 32.000'dir.
Kullanım
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("seali/turkce-saglik-bpe-tokenizer")
tokenizer.tokenize("Hipoglisemi belirtileri nelerdir?")
Performans
Kelime başına düşen token sayısı (fertility) Türkçe tıbbi cümlelerde ölçülmüştür. Düşük değer, aynı bağlam penceresine daha çok metin sığdığı anlamına gelir.
| Tokenizer | Fertility | Sözlük |
|---|---|---|
| Bu tokenizer | 1.24 | 32.000 |
| Qwen3-4B-Instruct | 2.74 | 151.643 |
| bert-base-multilingual-cased | 2.61 | 119.547 |
| GPT-2 | 3.93 | 50.257 |
Tıbbi terimler tek token olarak temsil edilir:
| Terim | Bu tokenizer | Qwen3-4B |
|---|---|---|
| hipoglisemi | 1 | 4 |
| hipertansiyon | 1 | 5 |
| bağışıklık | 1 | 5 |
| enfeksiyon | 1 | 5 |
| antibiyotik | 1 | 5 |
Eğitim
105 MB'lık Türkçe korpus üzerinde eğitilmiştir:
ituperceptron/turkish_medical_reasoning— tıbbi soru-cevap ve muhakeme- T.C. Sağlık Bakanlığı HSGM sağlık kitapları
AhmetSemih/Turkish-Medical-Notes— klinik notlarytu-ce-cosmos/Cosmos-Turkish-Corpus-v1.0— genel Türkçe kapsam için bir dilim
Korpusun yaklaşık üçte ikisi tıbbi metindir.
Tasarım
- ByteLevel BPE: Türkçe karakterler ve beklenmedik girdiler bayt düzeyinde temsil edilir, bilinmeyen token üretilmez.
- NFC normalizasyonu: PDF kaynaklı metinlerde ayrışmış karakterler tek koda indirgenir.
- Küçük harfe çevirme yapılmaz: KOAH, HIV, Tip 1 gibi kısaltmalar anlam taşır.
- Sohbet şablonu için özel token'lar sözlüğe eklenmiştir:
<|im_start|>,<|im_end|>,<|system|>,<|user|>,<|assistant|>,<|think|>,</|think|>.
Katkı ve İletişim
seali tarafından hazırlanmıştır.
- Library
- transformers
- License
- mit
- Languages
- tr
- Created
- Jul 18, 2026
- Updated
- Jul 18, 2026