Downloads · 30 days
0
NLP_BPE
dar5115/NLP_BPE
NLP_BPE is a machine learning model from dar5115. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as mit.
BPE tokenizer trained on Russian RIA.ru corpus with vocabulary size 32000
Access
Public
Updated Nov 8, 2025
Repo size
—
Likes
0
Public
Repo makeup
Click a slice to open those files.
.json540 KB · 58%
At a glance
- License
- mit
- Access
- Public
- Created
- Nov 8, 2025
- Updated
- Nov 8, 2025
- SHA
- 7671e71c
Model card
From the Hugging Face model README
bpe-tokenizer-ru-32000
Описание
BPE tokenizer trained on Russian RIA.ru corpus with vocabulary size 32000
Параметры модели
- Тип модели: BPE (Byte Pair Encoding)
- Размер словаря: 32000
- Язык: Русский
- Специальные токены:
[UNK],<NUM>,<URL>,<EMAIL>
Использование
from tokenizers import Tokenizer
# Загрузка токенизатора напрямую
tokenizer = Tokenizer.from_file("vocab.json")
# Или через transformers
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000")
Пример использования
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000")
text = "Пример текста для токенизации"
tokens = tokenizer.tokenize(text)
print(tokens)
# Или для получения IDs
input_ids = tokenizer.encode(text)
print(input_ids)
Файлы модели
vocab.json- словарь токеновmerges.txt- правила слияния BPEtokenizer_config.json- конфигурация токенизатора
Автор
Обучено на корпусе RIA.ru
Лицензия
MIT
- License
- mit
- Languages
- ru
- Created
- Nov 8, 2025
- Updated
- Nov 8, 2025