Muse-Glimmer-30B-GGUF

Muse-Glimmer-30B-GGUF

Cuantizaciones GGUF de meta-models/Muse-Glimmer-30B, hechas para servirlas en local con Ollama o llama.cpp. Los pesos y la licencia son del autor original; aquí solo cambia el formato.

Multimodal. La parte visual va en el fichero mmproj-…, aparte de los pesos. Hay que cargarlo explícitamente (ver Uso) o el modelo queda ciego sin decirlo.

Q4_K_M es el equilibrio de siempre; Q8_0 es prácticamente indistinguible del original a cambio del doble de peso. Como referencia de VRAM: en 12 GB entra un 7-8B en Q8_0 o un 14B en Q4_K_M; de ahí para arriba, hay offload a CPU.

Se incluyen los ficheros de licencia del original (LICENSE, USAGE_POLICY.md), como exige su redistribución.

Uso

# llama.cpp — los pesos y el proyector visual se cargan por separado
llama-mtmd-cli -m Muse-Glimmer-30B-Q4_K_M.gguf \
    --mmproj mmproj-Muse-Glimmer-30B-bf16.gguf --image foto.jpg -p "¿Qué ves?"

# solo texto (Ollama)
ollama run hf.co/popiAI/Muse-Glimmer-30B-GGUF:Q4_K_M

Trazabilidad

Generado con el pipeline cuantiza-y-publica del repo ml-lab. Se cuantiza un commit concreto del repo base, no main: repetir esta tabla da los mismos GGUF.