Downloads · 30 days
35
40% of all-time downloads
russian-bpe-tokenizer-16k
annaferzz/russian-bpe-tokenizer-16k
russian-bpe-tokenizer-16k is a machine learning model from annaferzz. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
447 статей из Vedomosti (2020–2025) с предварительной очисткой и нормализацией текста
All-time downloads
88
Public
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.json1.3 MB · 100%
At a glance
- Access
- Public
- Created
- Oct 4, 2025
- Updated
- Oct 4, 2025
- SHA
- 605ac3b4
Model card
From the Hugging Face model README
Russian BPE Tokenizer 16k
🗃️ Корпус
447 статей из Vedomosti (2020–2025) с предварительной очисткой и нормализацией текста
⚙️ Параметры
- Алгоритм: Byte Pair Encoding (BPE)
- Размер словаря: 16,000 токенов
- Min frequency: 2
- Специальные токены:
<UNK>,<PAD>,<BOS>,<EOS> - Пре-токенизатор: Whitespace
📊 Метрики
- Процент фрагментации: 36.51%
- Коэффициент сжатия: 0.665
- Эффективность реконструкции: 100.0%
- Время обучения: 0.38 сек
- OOV rate: ~11.45%
📝 Лицензия
MIT License
- Created
- Oct 4, 2025
- Updated
- Oct 4, 2025