Codestral-Mamba-7B-v0.1-Q4_0-GGUF

Codestral Mamba 7B Q4_0 (GGUF)

Cuantización Q4_0 de mistralai/Mamba-Codestral-7B-v0.1 en formato GGUF para llama.cpp.

El archivo original (3.9 GB) está dividido en 3 partes porque GitHub LFS limita a 2 GB por archivo.

Contenido

Cómo usarlo

1. Clonar con LFS

git lfs install
git clone https://github.com/fabian-bautista/codestral-Mamba-7b-q4.git
cd codestral-Mamba-7b-q4

2. Unir los splits en un solo GGUF (opcional)

llama-gguf-split --merge \
  Mamba-Codestral-7B-v0.1-Q4_0-00001-of-00003.gguf \
  Mamba-Codestral-7B-v0.1-Q4_0.gguf

llama.cpp también acepta cargar el primer split directamente — auto-detecta y carga los demás.

3. Levantar el modelo

# CLI interactivo
llama-cli -m Mamba-Codestral-7B-v0.1-Q4_0-00001-of-00003.gguf \
  -c 16384 -n 512 -t 8 --color -cnv

# Servidor HTTP (API compatible OpenAI)
llama-server -m Mamba-Codestral-7B-v0.1-Q4_0-00001-of-00003.gguf \
  -c 16384 -t 8 --host 127.0.0.1 --port 8080

Notas importantes

Rendimiento en Apple Silicon

llama.cpp aún no tiene kernels Metal optimizados para operaciones SSM/Mamba2, por lo que en Mac la inferencia corre solo en CPU y es muy lenta (~17 seg/token en un M2 con 8 hilos). Para uso práctico de generación de código en Mac, hoy es preferible un Transformer como Qwen2.5-Coder con -ngl 99.

Bug del converter HF→GGUF

Este GGUF se generó con un patch local en conversion/mamba.py de llama.cpp (build 9330). El converter upstream escribe n_head=0 para Mamba2, lo cual hace que el runtime calcule d_in_proj con la fórmula incorrecta y rechace cargar el modelo:

error: tensor 'blk.0.ssm_in.weight' has wrong shape; expected 4096, 18432, got 4096, 18560

Fix aplicado:

# conversion/mamba.py, en Mamba2Model.set_gguf_parameters()
# Antes:
self.gguf_writer.add_head_count(0)  # unused, but seemingly required when loading
# Después:
self.gguf_writer.add_head_count(self.d_inner // head_dim)  # = num_heads real (128 para Codestral)

El runtime calcula d_in_proj = 2*d_inner + 2*n_group*d_state + n_head. Sin el fix, n_head=0 → d_in_proj=18432. Con el fix, n_head=128 → d_in_proj=18560, que coincide con la forma real del tensor.

Licencia

El modelo original es de Mistral AI bajo Apache-2.0. Esta cuantización mantiene la misma licencia.