GemmaColRAC-AeroExpertV4

GemmaColRAC-AeroExpertV4 🛫

Trained from the RAC Colombia dataset 🛫

Este documento proporciona una visión general de GemmaColRAC-AeroExpertV4, la cuarta versión de nuestro modelo de lenguaje especializado en regulaciones aeronáuticas colombianas. Esta versión representa un avance importante gracias a la mejora en precisión y eficiencia en el uso de los recursos de GPU, destacando nuestro esfuerzo continuo por desarrollar tecnologías de IA sostenibles y de alta calidad para la industria aeronáutica.

<p align="center"> <img src="https://cdn-uploads.huggingface.co/production/uploads/6419c2f6b4adb0e101b17b6c/AtIsZS7aXJLZQjlZV5rBO.png" alt="Imagen relacionada con el Reglamento Aeronáutico Colombiano" style="width: 40%; max-height: 550px;"> </p>

Hiperparámetros de Entrenamiento

• Tipo de GPU: NVIDIA A100-SXM4-40GB
• Tiempo Total de Entrenamiento: Aproximadamente 50 minutos (3007 segundos)
• Tasa de Aprendizaje: 0.00005
• Optimizador: Paged AdamW 8bit
• Pasos Máximos: 1638
• Tamaño de Secuencia: 2048
• Tamaño de Lote por Dispositivo: 1
• Versión de Transformers: 4.39.0
• Función de Activación: gelu_pytorch_tanh
• Framework de Optimización: Unsloth 2024.4

Innovaciones en Eficiencia con Unsloth

GemmaColRAC-AeroExpertV4 integra Unsloth, un framework de optimización que mejora la eficiencia en el entrenamiento de modelos de IA. Unsloth ha permitido reducir significativamente el tiempo y los recursos de GPU requeridos, logrando un entrenamiento más rápido y ecológico.

Comparación de Modelos

La versión GemmaColRAC-AeroExpertV4 muestra mejoras significativas sobre las versiones anteriores. La optimización en el uso de recursos, junto con la ampliación del tamaño de la secuencia, ha resultado en una mayor calidad y eficiencia del modelo.

Resultados

GemmaColRAC-AeroExpertV4 ha demostrado una capacidad excepcional para comprender y generar contenido regulatorio aeronáutico en español, siendo un recurso valioso para la industria.

Evaluación

Para la evaluación de GemmaColRAC-AeroExpertV4, hemos habilitado plataformas para que expertos en el campo realicen pruebas. Visita:

• Evaluación de GemmaColRAC-AeroExpertV4

Impacto Ambiental

El desarrollo de GemmaColRAC-AeroExpertV4 se ha llevado a cabo con un enfoque en la sostenibilidad, optimizando la eficiencia y minimizando el impacto ambiental.

Más Información

Para obtener más detalles sobre GemmaColRAC-AeroExpertV4, incluyendo acceso al modelo y sus capacidades completas, visita nuestro repositorio en Hugging Face.