Qwen3.5-35B-A3B-3bit

Qwen3.5-35B-A3B (3bit MLX Quantization)

This is the Qwen3.5-35B-A3B model, natively quantized to 3bit for the MLX framework by Apple. This version allows running a massive model on standard Apple Silicon Macs without experiencing immediate OOM (Out Of Memory) issues.

🌟 Experiência de Uso & Performance no Mac (Apple Silicon)

A versão em 3-bits comprime severamente os pesos do modelo. Apesar de rodar incrivelmente rápido e caber em espaços menores de memória, observei uma degradação um pouco maior na inteligência pura se comparado ao formato 3.5-bits ou superior.

Durante os testes locais para validação dessa quantização, obtivemos os seguintes resultados de performance:

• Pico de Memória (VRAM): Usou cerca de ~15.3 GB de memória unificada, deixando o sistema saudável e sem swap pesado.
• Velocidade de Geração: Atingiu aproximadamente ~65 tokens/sec (Pode variar conforme o hardware e a temperatura do chip).
• Estabilidade: Para evitar o erro kIOGPUCommandBufferCallbackErrorTimeout (GPU Timeout) comum no Mac ao processar tensores gigantes, o processo de quantização deste modelo foi roteado cirurgicamente pela CPU. Isso garantiu integridade e sucesso total na conversão.

🚀 Como usar com oMLX (Recomendado)

oMLX is a high-performance serving engine for MLX models that exposes an OpenAI-compatible API.

1. Faça o download para o seu cache local:

python -c "from huggingface_hub import snapshot_download; snapshot_download('faelfernandes/Qwen3.5-35B-A3B-3bit')"

2. Inicie o servidor oMLX:

omlx serve --model-dir ~/.cache/huggingface/hub/models--faelfernandes--Qwen3.5-35B-A3B-3bit/snapshots/main

3. Teste via API (Padrão OpenAI):

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.5-35B-A3B-3bit",
    "messages": [{"role": "user", "content": "Explique a teoria da relatividade."}],
    "temperature": 0.7
  }'

💻 Como usar direto com MLX-LM no Python

1. Instale as dependências:

pip install mlx-lm huggingface_hub

2. Script de Inferência:

from mlx_lm import load, generate

model, tokenizer = load("faelfernandes/Qwen3.5-35B-A3B-3bit")
response = generate(model, tokenizer, prompt="Explain quantum mechanics in one paragraph.", max_tokens=500)
print(response)

⚙️ Detalhes da Quantização

• Modelo Base: Qwen/Qwen3.5-35B-A3B
• Quantização: 3bit
• Framework: Apple MLX
• Processamento: Conversão via CPU para máxima integridade e estabilidade.

---

Quantizado e otimizado com foco na experiência do usuário de Mac. Por Rafael Fernandes 🇧🇷