Downloads · 30 days
13
3% of all-time downloads
rdrgzlng/salamandra-2b-instruct-GGUF
salamandra-2b-instruct-GGUF is a machine learning model from rdrgzlng. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for llama.cpp. The card lists the license as apache-2.0.
Conversión propia de BSC-LT/salamandra-2b-instruct a GGUF para uso con llama.cpp.
Downloads · 30 days
13
3% of all-time downloads
All-time downloads
413
Public
Repo size
6 GB
Likes
0
Public
Click a slice to open those files.
.gguf6 GB · 100%
From the Hugging Face model README
Conversión propia de BSC-LT/salamandra-2b-instruct a GGUF para uso con llama.cpp.
salamandra-2b-instruct-fp16.ggufsalamandra-2b-instruct-Q4_K_M.ggufEl archivo Q4_K_M fue cuantizado con llama.cpp.
Algunos tensores requirieron fallback automático a otros formatos de cuantización por restricciones de forma.
./llama-cli -m salamandra-2b-instruct-Q4_K_M.gguf -cnv