XLMRobertaEN

XLM-RoBERTa (EN) – Grooming / Harassment Detection

Tento model je jemne doladená verzia modelu xlm-roberta-base určená na binárnu klasifikáciu textových konverzácií v anglickom jazyku. Cieľom modelu je detekcia potenciálne nevhodného, manipulatívneho alebo groomingového správania v textovej komunikácii.

Model bol natrénovaný ako súčasť diplomovej práce zameranej na návrh interaktívnej bezpečnostnej platformy pre detekciu rizikového správania v online komunikácii.

---

Použitý model

• Základný model: xlm-roberta-base
• Typ úlohy: binary sequence classification
• Počet tried: 2 (0 = bezpečný text, 1 = rizikový text)
• Framework: PyTorch + Hugging Face Transformers

---

Dataset

Model bol trénovaný na vlastnom anglickom datasete konverzácií. Dataset obsahuje vyvážený počet pozitívnych a negatívnych vzoriek a bol rozdelený nasledovne:

• Tréningová množina: 70 %
• Validačná množina: 15 %
• Testovacia množina: 15 %

Texty boli mierne čistené (odstránenie URL, e-mailov, nadbytočných medzier), bez agresívneho zásahu do jazykovej štruktúry.

---

Tréning

Model bol trénovaný počas 5 epoch s early stopping mechanizmom. Počas tréningu boli zaznamenávané hodnoty:

• train loss
• validation loss
• accuracy
• precision
• recall
• F1-score

Kompletné výsledky po jednotlivých epochách sa nachádzajú v súbore epoch_results.csv. Detailný priebeh tréningu je uložený v súbore training_log.txt.

---

Výsledky na testovacej množine

• Accuracy: 0.96
• F1-score: 0.961
• Precision: 0.925
• Recall: 1.00

Konfúzna matica:

• True Negatives (TN): 35
• False Positives (FP): 3
• False Negatives (FN): 0
• True Positives (TP): 37

Model dosahuje vysokú citlivosť (recall), čo je vhodné pre bezpečnostné aplikácie, kde je dôležité minimalizovať prehliadnutie rizikového obsahu.

---

Použitie

Model je možné načítať štandardným spôsobom pomocou knižnice transformers:

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("PatrikGajdos/XLMRobertaEN")
model = AutoModelForSequenceClassification.from_pretrained("PatrikGajdos/XLMRobertaEN")