Downloads · 30 days
0
Russian_BPE_Tokenizer_16k
Shu-vi/Russian_BPE_Tokenizer_16k
Russian_BPE_Tokenizer_16k is a machine learning model from Shu-vi. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for tokenizers. The card lists the license as mit.
Russian BPE Tokenizer 16k — subword токенизатор, обученный с нуля на корпусе русскоязычных новостных текстов.
Access
Public
Updated Oct 10, 2025
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.json1.7 MB · 100%
At a glance
- Library
- tokenizers
- License
- mit
- Access
- Public
- Created
- Oct 9, 2025
- Updated
- Oct 10, 2025
- SHA
- 175d625d
Spaces
Model card
From the Hugging Face model README
🇷🇺 Russian BPE Tokenizer 16k
Russian BPE Tokenizer 16k — subword токенизатор, обученный с нуля на корпусе русскоязычных новостных текстов.
🧠 Описание модели
- Тип модели: Subword токенизатор (BPE)
- Язык: Русский
- Алгоритм: Byte Pair Encoding
- Размер словаря: 16 000
- Минимальная частота: 3
- Нормализация: NFKC
- Пре-токенизация: Whitespace
📚 Корпус
Токенизатор обучен на корпусе из 55 000+ слов, собранных с русскоязычных новостных сайтов:
(Корпус собран в 2025 году и включает тексты новостных статей разных тематик.)
📊 Метрики
| Метрика | Значение | Описание |
|---|---|---|
| OOV rate | 6% | Доля слов, отсутствующих в словаре |
| Reconstruction accuracy | 2% | Точность восстановления исходного текста после токенизации |
| Compression ratio | 0.59 | Коэффициент сжатия корпуса |
🚀 Пример использования
from tokenizers import Tokenizer
tokenizer = Tokenizer.from_pretrained("Shu-vi/russian-bpe-tokenizer-16k")
# Пример
text = "В Казани в 2024 прошёл БРИКС."
encoded = tokenizer.encode(text)
print("Токены:", encoded.tokens)
print("IDs:", encoded.ids)
- Library
- tokenizers
- License
- mit
- Languages
- ru
- Created
- Oct 9, 2025
- Updated
- Oct 10, 2025