leniachat-qwen2-1.5B-v0

Chat & Instructions 1.5B LLM by LenguajeNatural.AI | Modelo LenguajeNatural.AI Chat e Instrucciones 1.5B

Developed by LenguajeNatural.AI

This model has been developed by LenguajeNatural.AI, with the aim of providing the Spanish-speaking community with advanced tools for text generation, chat, and instructions. It is the second released model of the LeNIA series, significantly outperforming the first one, being also smaller (1.5B vs 2B) and with a larger sequence size (32K vs 8K).

Technical Details

• Maximum Sequence Length: 32K
• Model Size: 1.5B parameters
• Architecture: Qwen2
• Trained in 3 steps:
  • Domain Flan-style adaptation to Spanish: Massive Spanish instruction tuning
  • High Quality Spanish Instruction Tuning
  • Chat-Abstractive QA Fine-Tuning

Desarrollado por LenguajeNatural.AI

Este modelo ha sido desarrollado por LenguajeNatural.AI, con el objetivo de proporcionar a la comunidad de habla hispana herramientas avanzadas para la generación de texto, chat e instrucciones. Es el segundo modelo liberado de la saga LeNIA, superando con bastante margen el rendimiento del primero de ellos, siendo además más pequeño (1.5B vs 2B) y con mayor tamaño de secuencia (32K vs 8K).

License

This model is distributed under Apache 2.0. License.

Licencia

Este modelo se distribuye bajo la licencia Apache 2.0.

Base Model

This model has been fine-tuned from Qwen/Qwen2-1.5B, incorporating advanced features for better text generation and understanding in Spanish chat and instruction tasks.

Modelo Base

Este modelo se ha afinado a partir de Qwen/Qwen2-1.5B, incorporando características avanzadas para una mejor generación de texto y comprensión en tareas de chat e instrucciones en español.

Language

The model has been trained exclusively in Spanish, with the aim of maximizing its effectiveness in applications intended for Spanish-speaking users.

Idioma

El modelo ha sido entrenado exclusivamente en español, con el objetivo de maximizar su efectividad en aplicaciones destinadas a usuarios de habla hispana.

Training

The model has been trained in three distinct phases to ensure good performance across a wide range of tasks:

1. Multi-task learning in Spanish: Using multiple supervised datasets for FLAN-style training.
2. High-quality instruction training: Fine-tuning the model to understand and generate responses to complex instructions.
3. Chat and abstractive QA training: Optimizing the model for smooth conversations and generating answers to abstract questions.

In all three phases, training was carried out thanks to our library autotransformers.

Entrenamiento

El modelo se ha entrenado en tres fases distintas para asegurar un buen rendimiento en una amplia gama de tareas:

1. Aprendizaje multi-tarea en español: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN.
2. Entrenamiento de instrucciones de alta calidad: Afinando el modelo para entender y generar respuestas a instrucciones complejas.
3. Entrenamiento de chat y QA abstractivo: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas.

En las 3 fases se ha llevado a cabo el entrenamiento gracias a nuestra librería autotransformers.

Maximum Sequence Length

The maximum sequence length for this model is 32768 tokens, 4x more than the previous LeNIA-Chat version.

Tamaño máximo de secuencia

El tamaño máximo de secuencia para este modelo es de 8192 tokens, 4 veces más que la versión anterior de LeNIA-Chat.

Usage and Limitations

This model is designed to be used in text generation applications, chatbots, and virtual assistants in Spanish. Although it has been trained to minimize biases and errors, we recommend evaluating its performance in its specific context of use. Users should be aware of the inherent limitations of language models and use this model responsibly. Additionally, it should be noted that the base model is only 1.5B parameters, so this model shares the inherent limitations of models of that size.

Usos y Limitaciones

Este modelo está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots, y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en su contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable. Además, debe tenerse en cuenta que el modelo base es de únicamente 1.5b parámetros, por lo que este modelo comparte las limitaciones inherentes a los modelos de ese tamaño.

How to start?

You can start using this model through the Hugging Face API or integrate it into your applications using the transformers library. Here is an example of how to load the model:

¿Cómo empezar?

Puedes empezar a utilizar este modelo a través de la API de Hugging Face o integrarlo en tus aplicaciones utilizando la biblioteca transformers. Aquí tienes un ejemplo de cómo cargar el modelo:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Generar texto
messages = [
  {"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
  {"role": "user", "content": "¿Qué fue la revolución industrial?"}
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
with torch.no_grad():
  output = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Evaluation

To ensure the quality of the model, an extensive evaluation has been carried out on several datasets, showing significant performance in text generation and understanding instructions in Spanish. The specific details of the evaluation of the LeNIA-Chat models are available in the following table.

Evaluación

Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla.

Contributions and Future Versions

We encourage the community to help to build better LLMs in Spanish by providing suggestions or feedback to improve the model. Collaboration is fundamental for AI advancements, specially to make it accessible and ethical.

We plan to keep on improving this model and launch future versions with advanced capabilities. Stay tuned to our updates through our webpage or our LinkedIn page

Contribuciones

Animamos a la comunidad a contribuir con retroalimentación, sugerencias, y mejoras para este modelo. La colaboración es fundamental para el avance de la inteligencia artificial accesible y ética.

Futuras Versiones

Planeamos continuar mejorando este modelo y lanzar versiones futuras con capacidades ampliadas. Mantente atento a nuestras actualizaciones. Puedes estar al tanto en nuestra página web o nuestra página de LinkedIn.