BAAO

Nombre del estudiante: Brayam Arvey Ardila

Nombre del modelo: BAAO

Se enfoca en la implementación y entrenamiento de un modelo de procesamiento de lenguaje natural basado en la arquitectura T5, utilizando la biblioteca Transformers de Hugging Face.

Descripciòn

Este modelo utiliza la arquitectura T5 de Transformers para tareas de procesamiento de lenguaje natural, centradas en la generación de texto. Se implemento y entreno usando PyTorch Lightning, lo que facilita la escalabilidad y eficiencia en el entrenamiento.

Funcionamiento:

El proceso comienza con la instalación de las bibliotecas necesarias: transformers, sentencepiece y pytorch_lightning. Estas bibliotecas proporcionan las herramientas para trabajar con modelos de lenguaje avanzados y facilitan el manejo del entrenamiento y la validación de modelos.

Se utiliza una clase personalizada, T5Dataset, para preparar y gestionar los datos. El modelo se construye y entrena dentro de una clase T5Model, que hereda de pl.LightningModule. Esto implica que el modelo se beneficia de las características de PyTorch Lightning, como la gestión eficiente del entrenamiento y la escalabilidad. El entrenamiento del modelo se realiza con callbacks y checkpoints para monitorizar y guardar el progreso.

Caracterìsticas del modelo

Tipo de Modelo: T5 para generación condicional de texto.

Entrenado con: PyTorch Lightning.

Bibliotecas Clave: Transformers, SentencePiece, PyTorch Lightning.

Datos utilizados

Preparación de Datos: Uso de T5Dataset para la manipulación y preparación de datos, adaptado para trabajar con el modelo T5.

División de Datos: Dividido en conjuntos de entrenamiento y prueba para una evaluación efectiva.

Arquitectura del modelo

Base: T5ForConditionalGeneration de la biblioteca Transformers. Personalización: Implementación dentro de una clase T5Model que extiende pl.LightningModule, lo que indica una integración con PyTorch Lightning para gestionar el entrenamiento y la validación.