Downloads · 30 days
0
Russian_wordpiece_tokenizer_32k
Shu-vi/Russian_wordpiece_tokenizer_32k
Russian_wordpiece_tokenizer_32k is a machine learning model from Shu-vi. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for tokenizers. The card lists the license as mit.
Russian wordpiece Tokenizer 32k — subword токенизатор, обученный с нуля на корпусе русскоязычных новостных текстов.
Access
Public
Updated Oct 10, 2025
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.json607 KB · 99%
At a glance
- Library
- tokenizers
- License
- mit
- Access
- Public
- Created
- Oct 10, 2025
- Updated
- Oct 10, 2025
- SHA
- 3dfe8dac
Model card
From the Hugging Face model README
🇷🇺 Russian wordpiece Tokenizer 32k
Russian wordpiece Tokenizer 32k — subword токенизатор, обученный с нуля на корпусе русскоязычных новостных текстов.
🧠 Описание модели
- Тип модели: Subword токенизатор (wordpiece)
- Язык: Русский
- Алгоритм: wordpiece
- Размер словаря: 32 000
- Минимальная частота: 3
- Нормализация: NFKC
- Пре-токенизация: Whitespace
📚 Корпус
Токенизатор обучен на корпусе из 55 000+ слов, собранных с русскоязычных новостных сайтов:
(Корпус собран в 2025 году и включает тексты новостных статей разных тематик.)
📊 Метрики
| Метрика | Значение | Описание |
|---|---|---|
| OOV rate | 1% | Доля слов, отсутствующих в словаре |
| Reconstruction accuracy | 0.09% | Точность восстановления исходного текста после токенизации |
| Compression ratio | 0.59 | Коэффициент сжатия корпуса |
🚀 Пример использования
from tokenizers import Tokenizer
tokenizer = Tokenizer.from_pretrained("Shu-vi/Russian_wordpiece_tokenizer_32k")
# Пример
text = "В Казани в 2024 прошёл БРИКС."
encoded = tokenizer.encode(text)
print("Токены:", encoded.tokens)
print("IDs:", encoded.ids)
- Library
- tokenizers
- License
- mit
- Languages
- ru
- Created
- Oct 10, 2025
- Updated
- Oct 10, 2025