toxic-text-classifier-ru

Russian Toxicity Classifier

Описание

Модель бинарной классификации русскоязычных текстов.

Классы:

• 0 — токсичный текст
• 1 — нетоксичный текст

Назначение

Модель предназначена для автоматического контроля качества сообщений технической поддержки.

Определяет:

• грубость;
• оскорбления;
• агрессивные сообщения;
• токсичные формулировки.

Архитектура

Основа модели: ai-forever/ru-en-RoSBERTa

Использован transfer learning:

• веса Transformer-энкодера заморожены;
• обучалась классификационная голова.

Метрики на тестовой выборке

Accuracy: 0.9849

Precision: 0.9873

Recall: 0.9825

F1-score: 0.9849

MCC: 0.9699

ROC-AUC: 0.9990

Ограничения

Модель может ошибаться на:

• сарказме;
• эмоциональных, но допустимых жалобах;
• некоторых вежливых сообщениях поддержки.

Пример использования

from transformers import pipeline

classifier = pipeline(
    "text-classification",
    model="yulivvv/toxic-text-classifier-ru"
)

result = classifier(
    "Вы что, совсем ничего не можете сделать?"
)

print(result)