bert-question-detector-russian

BERT детектор вопросов на русском языке

Проект для определения, является ли текст на русском языке вопросом, с использованием модели BERT.

Описание проекта

Этот проект представляет собой систему классификации текста на русском языке, которая определяет, является ли данный текст вопросом или нет. Система использует модель BERT (Bidirectional Encoder Representations from Transformers), точнее, модель DeepPavlov/rubert-base-cased, дообученную на специальном датасете с примерами вопросов и не-вопросов на русском языке.

Использование

Простой пример

from transformers import pipeline

# Загрузка модели с использованием pipeline
classifier = pipeline("text-classification", model="Vldln/bert-question-detector-russian")

# Пример текста для проверки
text = "Это вопрос?"

# Получение результата
result = classifier(text)

Метрики качества

Модель достигает следующих показателей на тестовом наборе данных:

• Точность (Accuracy): ~95%
• F1-мера: ~94%
• Precision: ~93%
• Recall: ~95%

Лицензия

MIT

Благодарности

• DeepPavlov за предоставление предобученной модели rubert-base-cased
• Hugging Face за библиотеку transformers и инфраструктуру для хостинга моделей