gemma3-4b-algebra4-gguf

gemma3-4b-algebra4-gguf — Q4_0 quantizado para celular

TL;DR — Gemma 3 4B Instruct fine-tunado em datasets de matemática (com foco em Álgebra Linear) e quantizado para 2.3 GB em GGUF Q4_0, pronto para rodar 100% offline em celular Android via PocketPal AI, MLC Chat, llama.cpp ou MediaPipe.

O que é este modelo

Modelo de raciocínio matemático em português e inglês, otimizado para resolver exercícios de Álgebra Linear IV (autovalores, autovetores, decomposições, espaços vetoriais, transformações lineares) diretamente no celular, sem internet.

• Base: google/gemma-3-4b-it (4.3 B params, multimodal texto+imagem)
• Quantização: GGUF Q4_0 com imatrix calibrado em ~300 exemplos do mix de math
• Tamanho: 2.3 GB (era 8.6 GB em BF16 — compressão 3.7×)
• Footprint em RAM: ~3 GB ativo (cabe em A56, A36, Pixel 8a, qualquer Android com ≥ 6 GB)
• Performance (medida em CPU 12 vCPU L4 da GCP): prompt 38.6 t/s · decode 8.9 t/s

Como rodar — 3 caminhos

Caminho 1 · PocketPal AI (mais simples, recomendado)

1. Instalar PocketPal AI da Play Store
2. Abrir o app → "Models" → "+" → "Add from Hugging Face"
3. Colar: felipecmarins/gemma3-4b-algebra4-gguf
4. Aguardar download (~2.3 GB via WiFi · uma única vez)
5. Selecionar o modelo, abrir um chat e mandar a foto/texto do exercício

Caminho 2 · llama.cpp (linha de comando)

# 1. Build
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && cmake -B build -DLLAMA_CURL=OFF && cmake --build build -j

# 2. Download
hf download felipecmarins/gemma3-4b-algebra4-gguf algebra4-q4_0.gguf --local-dir ./

# 3. Rodar
./build/bin/llama-cli -m algebra4-q4_0.gguf \
  -p "Encontre os autovalores de A = [[2,1],[1,2]]." \
  -n 300 -t 8 -no-cnv

Caminho 3 · MediaPipe LLM Inference (Android Studio / app custom)

Pré-converter para LiteRT (.task) via ai-edge-torch ou usar uma das bibliotecas Android compatíveis com GGUF.

Como foi treinado

Como foi quantizado

1. Merge do adapter LoRA na base BF16 → 8.1 GB safetensors
2. Convert HF → GGUF F16 via convert_hf_to_gguf.py → 7.3 GB
3. Calibração imatrix com 300 chunks pt-BR de math → preserva qualidade nos pesos críticos
4. llama-quantize --imatrix … Q4_0 → 2.3 GB final (BPW 4.87)
5. Perplexity de validação: 2.04 (referência do base BF16: ~1.95)

Restrições e cuidados

• Não é um modelo de propósito geral. Otimizado para matemática (especialmente álgebra linear). Outras tarefas funcionam com qualidade menor.
• Multimodal sem mmproj: o vision encoder do Gemma 3 (SigLIP) não está embutido neste GGUF — para usar a entrada de imagem direto no celular, é preciso o arquivo mmproj separado (a publicar) ou o .task LiteRT (em produção).
• Não usar em produção médica/financeira/jurídica — é um projeto acadêmico de disciplina, ainda em avaliação.

Conjuntos relacionados

Citação

Projeto acadêmico de Felipe Marins · Álgebra Linear IV · Maio/2026.

Licença

Gemma Terms of Use — herda da licença do modelo base.