Downloads · 30 days
4
9% of all-time downloads
olzhasAl/kazsandra-sc-kaz-roberta-conversational
kazsandra-sc-kaz-roberta-conversational is a text classification model from olzhasAl. Use it when you need a label for a piece of text. The card lists the license as apache-2.0.
Дообучение kz-transformers/kaz-roberta-conversational на датасете KazSAnDRA, задача score classification. Учебная модель, занятие 37 курса AI/ML, Astana IT University.
Downloads · 30 days
4
9% of all-time downloads
All-time downloads
43
Public
Parameters
83.5M
334 MB on disk
Likes
1
Public
Click a slice to open those files.
.safetensors334 MB · 98%
From the Hugging Face model README
Дообучение kz-transformers/kaz-roberta-conversational на датасете KazSAnDRA, задача score classification.
Учебная модель, занятие 37 курса AI/ML, Astana IT University.
KazSAnDRA (Yeshpanov, Varol, 2024), подвыборка 20,000 отзывов из 140,126. Валидация и тест авторские, без изменений.
| метрика | значение |
|---|---|
| macro-F1 | 0.312 |
| accuracy | 0.770 |
| промах не более 1 звезды | 0.843 |
Для сравнения: лучший результат оригинальной статьи macro-F1 0.39 на полном датасете.
Классы сильно несбалансированы: 72 процента отзывов имеют оценку 5. Модель редко предсказывает оценки 2 и 3. Метки соответствуют оценке пользователя, а не тональности текста, поэтому часть примеров противоречива. Домен: отзывы о мобильных приложениях, книгах, картах и маркетплейсах. За пределами этого домена качество не проверялось.
from transformers import pipeline
pipe = pipeline("text-classification", model="olzhasAl/kazsandra-sc-kaz-roberta-conversational")
pipe("өте жақсы қосымша")