Downloads · 30 days
24
5% of all-time downloads
ulu-bert-tr-base-v2
nypgd/ulu-bert-tr-base-v2
ulu-bert-tr-base-v2 is a fill-mask model from nypgd. Use it when you need the model to fill a missing word. It is set up for transformers. The card lists the license as mit.
UluBERT, Bursa Uludağ Üniversitesi'nde geliştirilen, Türkçe morfolojik yapıyı dikkate alan bir BERT modelidir. UluBERT, Türkçe'nin zengin morfolojik yapısını tokenization aşamasında korumak amacıyla sıfırdan eğitilmiş…
All-time downloads
489
Public
Parameters
111M
443 MB on disk
Likes
4
Public
Repo makeup
Click a slice to open those files.
.safetensors443 MB · 100%
At a glance
- Task
- Fill-Mask
- Library
- transformers
- License
- mit
- Model type
- bert
- Access
- Public
- Created
- Apr 16, 2026
- Updated
- Apr 20, 2026
- SHA
- 54ac4a35
Datasets
Model card
From the Hugging Face model README
UluBERT: Morphology-Aware Turkish BERT Model
UluBERT, Bursa Uludağ Üniversitesi'nde geliştirilen, Türkçe morfolojik yapıyı dikkate alan bir BERT modelidir.
🇹🇷 UluBERT
UluBERT, Türkçe'nin zengin morfolojik yapısını tokenization aşamasında korumak amacıyla sıfırdan eğitilmiş bir encoder modelidir. Zemberek morfolojik analizörü ile oluşturulmuş morfem tabanlı BPE tokenizer kullanır.
Stats
Model, vngrs-ai/vngrs-web-corpus üzerinden elde edilen 150GB Türkçe metin üzerinde eğitilmiştir. Zemberek ile 11.5M unique kelime morfolojik analiz edilerek 160GB morfem corpus oluşturulmuştur.
| Mimari | BERT-base (12 layer, 768 hidden, 12 heads) |
| Parametre | 110M |
| Vocab | 32,000 (MorphBPE) |
| Eğitim | 235K adım, MLM only, BF16 |
| Donanım | NVIDIA DGX Spark (GB10 Grace Blackwell, 128GB) — 4 gün |
| Loss | ~1.9 |
Tokenizer
| Kelime | UluBERT | BERTurk | ModernBERT-TR |
|---|---|---|---|
| çocuklar | çocuk lar | çocuklar | çocuklar |
| demokratikleştirilemeyen | demokratik leştir ile meyen | demokratik ##leştir ##ilemeyen | demokratik ##leştir ##ilemeyen |
| üniversitelerimizden | üniversite lerimiz den | üniversiteler ##imizden | üniversiteleri ##miz ##den |
Usage
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("nypgd/ulu-bert-tr-base-v2")
model = AutoModel.from_pretrained("nypgd/ulu-bert-tr-base-v2")
from transformers import pipeline
fill = pipeline("fill-mask", model="nypgd/ulu-bert-tr-base-v2")
fill("çocuk lar [MASK] a gid iyor", top_k=5)
Results
| Model | Görev | Acc | F1 |
|---|---|---|---|
| UluBERT | Duygu Analizi | 92.50 | 92.15 |
| UluBERT | POS Tagging | 92.86 | 92.83 |
| UluBERT | NER | 95.83 | 95.82 |
| BERTurk | Duygu Analizi | 96.10 | 96.06 |
| BERTurk | POS Tagging | 95.70 | 95.67 |
| BERTurk | NER | 97.11 | 97.11 |
| ModernBERT-TR | Duygu Analizi | 96.30 | 96.23 |
| ModernBERT-TR | POS Tagging | 95.54 | 95.51 |
| ModernBERT-TR | NER | 97.24 | 97.24 |
Notes
- Uncased model — girdiler lowercase olmalıdır
- Task
- Fill-Mask
- Library
- transformers
- Type
- bert
- License
- mit
- Languages
- tr
- Created
- Apr 16, 2026
- Updated
- Apr 20, 2026