mex_large

Modelo de Lenguaje para el español de México

<!-- Provide a quick summary of what the model is/does. -->

Este modelo basado en Roberta se entrenó usando más de 140 millones de tweets de México en español. Recolectados entre diciembre del 2015 y febrero del 2023. A cada mensaje se le agruegó una etiqueta de información regionalizada como sigue:

estado _GEO mensaje

Algunos ejemplos son:

• Coahuila _GEO Cómo estás amiga, nos conocemos? Soy soltero busco soltera. #PiedrasNegras #nava #allende #zaragoza
• Tamaulipas _GEO Ando de buenas que ya les devolví sus unfollows y métanselos por el culo ☺.
• BCS _GEO Ésa canción que cantas en silencio y la otra persona tmb. Bn raro.
• Tamaulipas _GEO Hoy es la primera vez que manejo en estado de ebriedad 😞🙃

Como se puede observar, se mantuvieron mayúsculas y minúsculas, emoticones y palabras mal escritas. Por motivos de privacidad, se cambiaron las mensciones de usuario por el token _USR y las direcciones de internet por _URL.

Los tokens que idican el estado de la república son:

Se creó el vocabulario de tamaño 30k usando WordPiece. El modelo se entrenaron usando el enmascaramiento de palabras con probabilidad de 0.15. Se usó el optimizador AdamW con una tasa de aprendizaje de 0.00002 durante una época.

Uso

El modelo funciona con la versión 4.39.3 de Transformers

El modelo se puede usar con una pipeline:

from transformers import pipeline
unmasker = pipeline('fill-mask', model="guillermoruiz/mex_state")

for p in unmasker("<mask> _GEO Van a ganar los Tigres."):
    print(p['token_str'], p['score'])

Lo que produce la salida:

NL 0.2888392508029938
Coahuila 0.08982843905687332
Tamaulipas 0.0630788803100586
Mexico_City 0.06246586889028549
Jalisco 0.06113814190030098

Lo que indica que la región más probable es Nuevo León. Otros ejemplos son:

for p in unmasker("<mask> _GEO Van a ganar los Xolos."):
    print(p['token_str'], p['score'])

BC 0.23284225165843964
Jalisco 0.07845071703195572
Mexico_City 0.0761856958270073
Sinaloa 0.06842593103647232
Mexico 0.06353132426738739

for p in unmasker("<mask> _GEO Vamos para Pátzcuaro."):
    print(p['token_str'], p['score'])

Michoacán 0.6461890339851379
Guanajuato 0.0919179916381836
Jalisco 0.07710094749927521
Sonora 0.022813264280557632
Yucatán 0.02254747971892357

for p in unmasker("<mask> _GEO Vamos para Mérida."):
    print(p['token_str'], p['score'])

Yucatán 0.9046052694320679
QR 0.01990741863846779
Mexico_City 0.009980794973671436
Tabasco 0.009980794973671436
Jalisco 0.007273637689650059

Información Regional

Usando las capas de atención, se extrajeron las palabras más importantes para elegir el token de región. Esas palabras formaron el vocabulario asociado a cada una de las regiones. Los vocabularios pudieron ser comparados para formar la siguiente matriz de similaridad.

Bias, Risks, and Limitations

<!-- This section is meant to convey both technical and sociotechnical limitations. -->

[More Information Needed]

Evaluación

Este modelo es el que se indica como MexLarge en la siguiente tabla. Los conjuntos de prueba son tweets escritos en México y se puede ver que los modelos con información regional (MexSmall y MexLarge) tiene una clara ventaja contra las alternativas.

Los conjuntos de datos RegTweets y MexEmojis están disponibles en Huggingface.

En la siguiente tabla se ven los resultados en textos en español genérico. Se puede apreciar que los modelos con información regional son muy competitivos a las alternativas.

Citation [optional]

<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->

BibTeX:

[More Information Needed]

APA:

[More Information Needed]