gua-a_v0.1-ft_mistral-7b_GGUF

<p align="center"> <img src="https://cdn-uploads.huggingface.co/production/uploads/65f4605f4c2a1312c4d0a4b2/rPUhxgAMZGNqDh4dF5ji3.webp" style="width: 60%; border-radius: 10px;"> </p>

gua-a v0.1 GGUF

En la mitología guarani: El padre de la sabiduria usaba un gua'a o loro para intentar comunicarse con su dios supremo Tupã. Haciendo la misma analogía creamos el modelo "gua-a" para difundir la cultura guarani a todos los hispanohablantes.

<!-- Esta plantilla de Model Card es una adaptación de la de Hugging Face: https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/modelcard_template.md ¿Cómo utilizar esta plantilla? Copia el contenido en el README.md del repo de tu modelo en el Hub de Hugging Face y rellena cada sección. Para más información sobre cómo rellenar cada sección ver las docs: https://huggingface.co/docs/hub/model-cards --> <!-- Nombre del modelo: Suele haber un nombre corto ("pretty name") para las URLs, tablas y demás y uno largo más descriptivo. Para crear el pretty name podéis utilizar acrónimos. Idioma: La Model Card puede estar en español o en inglés. Recomendamos que sea en inglés para que la comunidad internacional pueda utilizar vuestro dataset. Teniendo en cuenta que somos una comunidad hispanohablante y no queremos que el idioma sea una barrera, la opción más inclusiva sería escribirla en un idioma y traducirla (automáticamente?) al otro. En el repo entonces habría un README.md (Model Card en inglés) que enlazaría a un README_ES.md (Model Card en español), o viceversa, README.md y README_EN.md. Si necesitáis apoyo con la traducción os podemos ayudar. Qué incluir en esta sección: Esta sección es como el abstract. Escribir un resumen del modelo y motivación del proyecto (inc. los ODS relacionados). Si el proyecto tiene un logo, incluidlo aquí. Si queréis incluir una versión de la Model Card en español, enlazadla aquí al principio (e.g. "A Spanish version of this Model Card can be found under [`README_es.md`](URL)"). De manera análoga para el inglés. -->

🦜 Model Details

gua-a v0.1: Esta es una versión específica del modelo de lenguaje desarrollado en somosnlp/gua-a para capturar y comprender instrucciones relacionadas con la cultura guaraní. Fue ajustado con datos específicos de la cultura guaraní según el libro Ñande Ypykuéra de Narciso R. Colmán. gua-a v0.1 deriva de un modelo base Mistral 7B y se optimiza mediante la cuantización a 4 bits y el almacenamiento en el formato GGUF para mejorar su eficiencia en términos de almacenamiento y cálculo. Esto lo hace más adecuado para despliegues en entornos con recursos limitados, sin comprometer significativamente su capacidad para comprender y generar texto de alta calidad.

Model Description

<!-- Resumen del modelo. -->

• Developed by: Enrique Paiva <!-- Nombre de los miembros del equipo -->
• Funded by: Think Paraguayo <!-- Si contasteis con apoyo de otra entidad (e.g. vuestra universidad), añadidla aquí -->
• Model type: Language model, instruction tuned
• Language(s): es-ES <!-- Enumerar las lenguas en las que se ha entrenado el modelo, especificando el país de origen. Utilizar códigos ISO. Por ejemplo: Spanish (`es-CL`, `es-ES`, `es-MX`), Catalan (`ca`), Quechua (`qu`). -->
• License: apache-2.0 <!-- Elegid una licencia lo más permisiva posible teniendo en cuenta la licencia del model pre-entrenado y los datasets utilizados -->
• Fine-tuned from model: unsloth/mistral-7b-bnb-4bit <!-- Enlace al modelo pre-entrenado que habéis utilizado como base -->
• Dataset used: somosnlp/dataset-cultura-guarani_corpus-it <!-- Enlace al dataset utilizado para el ajuste -->

Provided files

Nota: las cifras de RAM anteriores asumen que no se utiliza la GPU. Si las capas se descargan en la GPU, se reducirá el uso de RAM y se utilizará VRAM en su lugar.

⭐ Uses

<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->

Este modelo está pensado para su uso exclusivamente educativo, permitiendo que las personas puedan adentrarse más al mundo de la cultura guaraní desde la Inteligencia Artificial.

<!-- README_GGUF.md-provided-files start -->

🤖 How to Get Started with the Model

Download model ⬇️

Puedes descargar el modelo directamente por medio del siguiente enlace: DOWNLOAD GUA-A-V0.1-GGUF

<!-- prompt-template start -->

Prompt template: Alpaca 🧾

Responde a preguntas de forma clara, amable, concisa y solamente en el lenguaje español, sobre el libro Ñande Ypykuéra.

Contexto
-------------------------
{}
-------------------------

### Pregunta:
{}

### Respuesta:
{}

Llamacpp 🦙

Install dependencies

# Si vas a utilizar solo CPU
pip install llama-cpp-python

# Si tienes una GPU basada en NVidia CUDA acceleration
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python

# O con OpenBLAS acceleration
CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install llama-cpp-python
# O con CLBLast acceleration
CMAKE_ARGS="-DLLAMA_CLBLAST=on" pip install llama-cpp-python
# O con AMD ROCm GPU acceleration (Linux only)
CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python
# O con Metal GPU acceleration for macOS systems only
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

# En windows, ejemplo para NVidia CUDA:
$env:CMAKE_ARGS = "-DLLAMA_CUBLAS=on"
pip install llama-cpp-python

Simple Inference

from llama_cpp import Llama

llm = Llama(
  model_path="./gua-a_v0.1-ft_mistral-7b_q4_K_M.gguf",  # Primero debes descargar el modelo
  n_ctx=512,  # Máximo tamaño del contexto
  n_threads=2, # Número de CPUs a usar
  n_gpu_layers=0 # El número de capas usadas para la GPU, si es "-1" utilizará todas las capas en la GPU, si es "0" solo se utilizará la CPU.
)

prompt = f"""Responde a preguntas de forma clara, amable, concisa y solamente en el lenguaje español, sobre el libro Ñande Ypykuéra.

Contexto
-------------------------
{context}
-------------------------

### Pregunta:
{query}

### Respuesta:
"""

contexto = ""
pregunta = "Quién es gua'a?"

# Ejemplo Simple de Inferencia
output = llm(prompt.format(context=contexto, query=pregunta),
  max_tokens=512,
  stop=["</s>"],
  echo=True
)

respuesta = output['choices'][0]['text'].split("### Respuesta:\n")[1]

print(respuesta)

Bias, Risks, and Limitations

<!-- This section is meant to convey both technical and sociotechnical limitations. -->

El modelo gua-a_v0.1-ft_mistral-7b_GGUF es un modelo experimental, las respuestas pueden ser imprecisas y de baja calidad. El dataset utilizado por el modelo solo refleja parte de la cultura guaraní, limitandose a la visión del autor del libro.

More Information

<!-- Indicar aquí que el marco en el que se desarrolló el proyecto, en esta sección podéis incluir agradecimientos y más información sobre los miembros del equipo. Podéis adaptar el ejemplo a vuestro gusto. -->

Este proyecto fue desarrollado por Think Paraguayo 🇵🇾.

Team:

Enrique Paiva

<!-- - [Name 1](Link to Hugging Face profile) - [Name 2](Link to Hugging Face profile) -->

Contact

mail: [email protected]

<!-- Email de contacto para´posibles preguntas sobre el modelo. -->