rubert_base_horeca_reviews_rating

RuBERT для анализа тональности отзывов в сфере HoReCa

Модель представляет собой дообученную модель RuBERT (cointegrated/rubert-base-cased-nli-threeway), оптимизированную для многоклассовой классификации отзывов на отели и рестораны (шкала от 1 до 5 звезд).

📊 Описание эксперимента и валидации

Для устранения утечки данных при разделении на train/valid/test использовался метод группового стратифицированного разделения по организациям (GroupStratifiedKFold) в пропорции 80% (Train+Valid) / 20% (Test).

• Источник данных: Открытый датасет Yandex Geo Reviews Dataset: https://www.kaggle.com/datasets/kyakovlev/yandex-geo-reviews-dataset-2023
• Размер очищенной выборки: 139 974 отзывов.
• Размер test выборки: 27 830 объектов.
• Данные обладают сильным дисбалансом классов (77.4% — «пятёрки», 2.9% — «двойки»).

📈 Метрики качества на тестовой выборке

Результаты модели на тестовой выборке:

• Accuracy: 0.86
• Macro F1-score: 0.62
• Weighted F1-score: 0.86

Classification Report на тестовой выборе:

              precision    recall  f1-score   support

           1       0.76      0.73      0.75      1266
           2       0.38      0.35      0.36       832
           3       0.48      0.48      0.48      1264
           4       0.57      0.54      0.55      2889
           5       0.95      0.96      0.95     21579

    accuracy                           0.86     27830
   macro avg       0.63      0.61      0.62     27830
weighted avg       0.86      0.86      0.86     27830

Визуализация распределения ошибок (Confusion Matrix):

🛠️ Пример использования (Inference)

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

MODEL_NAME = "sharlotik/rubert_base_horeca_reviews_rating"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)

text = "Отличный отель! Чисто, уютно, персонал вежливый. Обязательно вернусь еще раз."

inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=256)
with torch.no_grad():
    logits = model(**inputs).logits

predicted_class = torch.argmax(logits, dim=-1).item() + 1
print(f"Предсказанная оценка заведения: {predicted_class}★")