NER-finetuning-BETO

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

NER-finetuning-BETO

This model is a fine-tuned version of NazaGara/NER-fine-tuned-BETO on the conll2002 dataset. It achieves the following results on the evaluation set:

• Loss: 0.2009
• Precision: 0.8415
• Recall: 0.8564
• F1: 0.8489
• Accuracy: 0.9704

Model description

El modelo BETO (BERT para Español) es una variante de BERT entrenada específicamente para el idioma español. Este modelo ha sido afinado para la tarea de reconocimiento de entidades nombradas (NER) utilizando el conjunto de datos conll2002.

Intended uses & limitations

Usos

• Reconocimiento de entidades nombradas (NER) en textos en español.
• Aplicaciones en procesamiento de lenguaje natural donde se necesite identificar nombres de personas, lugares, organizaciones, etc.

Limitaciones

• El modelo puede no funcionar bien en textos fuera del dominio de los datos de entrenamiento (conll2002).
• Puede tener sesgos inherentes debido a los datos con los que fue preentrenado y afinado.

Training and evaluation data

El modelo fue afinado y evaluado utilizando el conjunto de datos conll2002, que es un conjunto de datos estándar para tareas de reconocimiento de entidades nombradas en español.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Framework versions

• Transformers 4.41.1
• Pytorch 2.3.0+cu121
• Datasets 2.19.2
• Tokenizers 0.19.1