Downloads · 30 days
53
0% of all-time downloads
somosnlp-hackathon-2022/twitter_sexismo-finetuned-exist2021-metwo
twitter_sexismo-finetuned-exist2021-metwo is a text classification model from somosnlp-hackathon-2022. Use it when you need a label for a piece of text. It is set up for transformers. The card lists the license as apache-2.0.
This model is a fine-tuned version of pysentimiento/robertuito-hate-speech on the EXIST dataset and MeTwo: Machismo and Sexism Twitter Identification dataset https://github.com/franciscorodriguez92/MeTwo. It achieves…
Downloads · 30 days
53
0% of all-time downloads
All-time downloads
11.6K
Public
Repo size
3 GB
Likes
6
Public
Click a slice to open those files.
.bin435 MB · 100%
From the Hugging Face model README
This model is a fine-tuned version of pysentimiento/robertuito-hate-speech on the EXIST dataset and MeTwo: Machismo and Sexism Twitter Identification dataset https://github.com/franciscorodriguez92/MeTwo. It achieves the following results on the evaluation set:
Model for the 'Somos NLP' Hackathon for detecting sexism in twitters in Spanish. Created by:
More information needed
More information needed
The following hyperparameters were used during training:
| Epoch | Training Loss | Validation Loss | Accuracy | F1 | Precision | |
|---|---|---|---|---|---|---|
| 1 | 0.389900 | 0.397857 | 0.827133 | 0.699620 | 0.786325 | |
| 2 | 0.064400 | 0.544625 | 0.831510 | 0.707224 | 0.794872 | |
| 3 | 0.004800 | 0.837723 | 0.818381 | 0.704626 | 0.733333 | |
| 4 | 0.000500 | 1.045066 | 0.820569 | 0.702899 | 0.746154 | |
| 5 | 0.000200 | 1.172727 | 0.805252 | 0.669145 | 0.731707 | |
| 6 | 0.000200 | 1.202422 | 0.827133 | 0.720848 | 0.744526 | |
| 7 | 0.000000 | 1.195012 | 0.827133 | 0.718861 | 0.748148 | |
| 8 | 0.000100 | 1.215515 | 0.824945 | 0.705882 | 0.761905 | |
| 9 | 0.000100 | 1.233099 | 0.827133 | 0.710623 | 0.763780 | |
| 10 | 0.000100 | 1.237268 | 0.829322 | 0.713235 | 0.769841 |
Fast usage with pipelines:
###libraries required
!pip install transformers
from transformers import pipeline
### usage pipelines
model_checkpoint = "hackathon-pln-es/twitter_sexismo-finetuned-exist2021-metwo"
pipeline_nlp = pipeline("text-classification", model=model_checkpoint)
pipeline_nlp("mujer al volante peligro!")
#pipeline_nlp("¡me encanta el ipad!")
#pipeline_nlp (["mujer al volante peligro!", "Los hombre tienen más manias que las mujeres", "me encanta el ipad!"] )
# OUTPUT MODEL #
# LABEL_0: "NON SEXISM"or LABEL_1: "SEXISM" and score: probability of accuracy per model.
# [{'label': 'LABEL_1', 'score': 0.9967633485794067}]
# [{'label': 'LABEL_0', 'score': 0.9934417009353638}]
#[{‘label': 'LABEL_1', 'score': 0.9967633485794067},
# {'label': 'LABEL_1', 'score': 0.9755664467811584},
# {'label': 'LABEL_0', 'score': 0.9955045580863953}]
Uno de los principales retos que se encontró en este proceso ha sido disponer de un dataset en español. Se ha logrado conseguir (previa solicitud) el dataset utilizado en EXIST:sEXism Identification in Social neTworks, el cual fue un gran punto de partida para comenzar con el modelo. Lamentablemente este un dataset presenta limitaciones debido a licencias y políticas para ser compartido libremente. Este dataset incorpora cualquier tipo de expresión sexista o fenómenos relacionados, incluidas las afirmaciones descriptivas o informadas donde el mensaje sexista es un informe o una descripción de un comportamiento sexista. se han utilizado los 3,541 tweets etiquetados en español. Luego se logró disponer de otro dataset en español MeTwo: Machismo and Sexism Twitter Identification dataset. Este dataset contiene los id de cada tweet con su etiqueta respectiva, lo que nos permitió obtener el texto del tweet e incrementar el dataset original. Un desafío ha sido iniciar los procesos de finetuned en las prueba, esto pues se dispone de diversas variables para validar y testear (desde modelos como: BETO o Roberta, hasta hiperparámetros: como learning rate), y solo se disponede un plazo acotado de dos semanas, además de la curva de aprendizaje. Para este desafío, se han basado las primeras pruebas en los parámetros presentados por de Paula et al. (2021), lo cual brindó un punto de partida y un reto a vencer, el 0.790 de accuracy obtenidos por el trabajo previo en la identificación de tweets sexistas en español. En este ámbito se realizaron diversas pruebas en paralelo para encontrar el mejor modelo. Luego de un proceso colaborativo de finetuned se ha logrado obtener un 83% de accuracy.
Se propone incrementar el dataset desarrollado. Para esto es posible descargar cantidades superiores de tweets en español y aplicar técnicas de active learning para obtener un grupo reducido de tweets a etiquetar vía crowdsourcing, y en donde estos datos etiquetados puedan servir para etiquetar el resto. También se pueden utilizar técnicas de Data Augmentation, para duplicar y extender el dataset. Realizar más pruebas con otros modelos y mejorar el modelo es otro reto que se propone como trabajos futuros.
Primero es sumamente importante dar mayor visibilidad al problema de sexismo en redes sociales, principalmente en español. El proceso de Transfer Learning logra reutilizar y aprovechar modelos previamente entrenados, y lo que se desea es que nuevos grupos de investigación, estudiantes, etc. utilicen la base del actual modelo para desarrollar los propios y crear un mejor modelo. De esta manera, se podría construir una herramienta que pueda identificar en tiempo real los tweets sexistas y eliminarlos antes de su propagación.
1 de Paula, A. F. M., da Silva, R. F., & Schlicht, I. B. (2021). Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models. arXiv preprint arXiv:2111.04551.
Rodríguez-Sánchez, F., Carrillo-de-Albornoz, J., Plaza, L., Gonzalo, J., Rosso, P., Comet, M., & Donoso, T. (2021). Overview of exist 2021: sexism identification in social networks. Procesamiento del Lenguaje Natural, 67, 195-207.