Downloads · 30 days
33
59% of all-time downloads
russian-razdel-tokenizer
annaferzz/russian-razdel-tokenizer
russian-razdel-tokenizer is a machine learning model from annaferzz. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
447 статей из Vedomosti (2020–2025) с предварительной очисткой и нормализацией текста
All-time downloads
56
Public
Repo size
—
Likes
1
Public
Repo makeup
Click a slice to open those files.
.json750 KB · 100%
At a glance
- Access
- Public
- Created
- Oct 4, 2025
- Updated
- Oct 4, 2025
- SHA
- 74093069
Model card
From the Hugging Face model README
Russian Razdel Tokenizer
🗃️ Корпус
447 статей из Vedomosti (2020–2025) с предварительной очисткой и нормализацией текста
⚙️ Параметры
- Алгоритм: Razdel (специализированный для русского языка)
- Язык: Русский
- Тип: Словесная токенизация
- Основан на: Морфологическом анализе
📊 Метрики
- Объём словаря: 23,200 уникальных токенов
- OOV rate: 11.45%
- Семантическая согласованность: 97.88%
- Время обработки: 0.433 сек
- Среднее токенов на статью: 248.7
📝 Лицензия
MIT License
- Created
- Oct 4, 2025
- Updated
- Oct 4, 2025