Dataset-from-HOMEWORK-2

ru-en-RoSBERTa Toxicity Classifier (Homework 2)

Это модель для бинарной классификации русскоязычных комментариев на предмет токсичности (1 — toxic, 0 — neutral). Модель построена на базе предобученной архитектуры ai-forever/ru-en-RoSBERTa и дообучена в рамках выполнения Домашнего задания №2.

Метрики качества на тестовой выборке

По результатам оценки модели (evaluate_model) на сбалансированном тестовом множестве были получены следующие показатели:

• Accuracy: 90.27%
• Precision: 91.30%
• Recall: 89.03%
• F1-Score: 90.15%
• ROC AUC: 0.956
• MCC (Коэффициент Мэттьюса): 0.806

Особенности модели и порог классификации

В ходе анализа ошибок и ручного инференса было установлено, что модель успешно детектирует маркеры скрытой и пассивной агрессии (повышая внутреннюю вероятность токсичности до 0.34 - 0.45). Однако стандартный жесткий порог argmax (0.5) может пропускать такие завуалированные фразы. Для деплоя в продакшен рекомендуется калибровать порог классификации под конкретную бизнес-задачу.

Пример использования (Inference)

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained("Ahbdjbdsh/Dataset-from-HOMEWORK-2")
model = AutoModelForSequenceClassification.from_pretrained("Ahbdjbdsh/Dataset-from-HOMEWORK-2")

text = "Вы что, совсем тупой? Я же уже объяснял!"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    probs = torch.softmax(outputs.logits, dim=-1)
    prediction = torch.argmax(outputs.logits, dim=1).item()

print(f"Класс: {prediction}, Вероятность токсичности: {probs[0][1].item():.4f}")