Llama3.1-8B-Instruct_FLARES-5W1H

This model is a fine-tuned version of meta-llama/Llama-3.1-8B-Instruct for performing the task presented in FLARES: Subtask 1 (5W1Hs identification) (https://www.kaggle.com/competitions/flares-subtask-1-5w1hs-identification/overview).

Training

The fine-tuning is based on an Instruction Tuning technique by using the following prompt:

Eres un experto en lengua española. Tu tarea es identificar y etiquetar las palabras o frases clave de un TEXTO dado según las siguientes categorías:
WHAT: Describe la acción, suceso o idea principal del texto.
WHEN: Señala el momento o duración en que ocurre el suceso.
WHERE: Indica el lugar donde ocurre el suceso.
WHY: Explica la causa o razón detrás del suceso.
WHO: Define las entidades, personas o grupos que participan o son afectados por el suceso.
HOW: Describe las circunstancias o la forma en que sucede el hecho.

Por favor, coloca la categoría correspondiente entre corchetes justo antes o después de la palabra o frase relevante.

The model shall return output in the following format: "[WHAT]La plitidepsina[/WHAT], administrada [HOW]por vía oral[/HOW] [WHEN]durante tres días consecutivos[/WHEN], se ha mostrado [WHAT]eficaz[/WHAT] [WHEN]durante la primera fase de la enfermedad[/WHEN], en la que se produce [WHAT]la replicación viral[/WHAT]."

Evaluation

The metrics obtained with the test set are:

• Precision: 0.701567
• Recall: 0.607821
• F1: 0.651338
• Accuracy: 0.529078

This model was developed by the SINAI Research Group (University of Jaén).