Downloads · 30 days
56
12% of all-time downloads
pabloreyespo/Llama-3.1-70B-LatamGPT-SFT-1.0-GGUF
Llama-3.1-70B-LatamGPT-SFT-1.0-GGUF is a machine learning model from pabloreyespo. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for gguf. The card lists the license as llama3.1.
Esta es una versión cuantizada en formato GGUF (4 bits, Q4KM) del modelo original latam-gpt/Llama-3.1-70B-LatamGPT-SFT-1.0.
Downloads · 30 days
56
12% of all-time downloads
All-time downloads
484
Public
Repo size
85 GB
Likes
4
Public
Click a slice to open those files.
.gguf42.5 GB · 100%
From the Hugging Face model README
Esta es una versión cuantizada en formato GGUF (4 bits, Q4_K_M) del modelo original latam-gpt/Llama-3.1-70B-LatamGPT-SFT-1.0.
Este formato permite ejecutar el modelo de 70 billones de parámetros de manera eficiente en hardware de consumo (combinando CPU y GPU) reduciendo el uso de memoria RAM/VRAM de ~140 GB a ~42 GB.
El modelo original en Hugging Face presenta una configuración que puede generar errores de compilación (check_tensor_dims: tensor 'token_embd.weight' has wrong shape) al usar conversores estándar como llama.cpp, por lo que se recomienda poner especial atención en las instrucciones del repositorio original.
tokenizer.json) define un vocabulario de 128257 tokens (incorporando un token <pad> personalizado), pero las matrices de pesos físicos (safetensors) cuenta con 128256 filas.model.embed_tokens.weight) y salida (lm_head.weight).LatamGPT utiliza la estructura de chat estricta de Llama 3. Si lo ejecutas sin especificar la plantilla, el modelo sufrirá de "alucinaciones", repetirá etiquetas como assistant.assistant, o no sabrá cuándo detener su respuesta.
Para evitar estos problemas y ejecutar el modelo de forma interactiva en la terminal usando llama.cpp, utiliza el siguiente comando con el parámetro obligatorio --chat-template llama3:
./llama-cli \
-m latamgpt-Q4_K_M.gguf \
-n -1 \
--temp 0.6 \
-cnv \
--chat-template llama3
DISCLAIMER: No se ha sometido a benchmarks esta versión cuantizada del modelo, por lo que la perdida de calidad no se encuentra medida (aunque lo esperable es que no sea significativa).