ratio-qwen-7b-gguf-v2

RATIO Qwen 7B v2 - GGUF (LEGACY / EXPERIMENTAL)

⚠️ STATUS: LEGACY — não recomendado para uso em produção. Este modelo é a versão experimental anterior do LLM generativo do RATIO. O modelo recomendado é o CyberPaul/ratio-gemma3-4b-gguf (Gemma3-4B fine-tuned).

---

Por que este modelo é LEGACY?

Durante a validação empírica em hardware CPU (Windows, P52 com 32 GB RAM), até o modelo base Qwen2.5-7B-Instruct não quantizado pelo nosso pipeline apresentou saída degradada (repetição de dígitos/garble) no runtime local (Ollama/llama.cpp). O problema foi reproduzido:

• com o fine-tune ratio-qwen-7b-gguf-v2 (com e sem system message)
• com o modelo base qwen2.5:7b-instruct oficial do Ollama (mesmo sintoma)

Ou seja: a degradação não é do fine-tune nem do template — é uma incompatibilidade do runtime local com a arquitetura Qwen no hardware testado. Por isso este artefato foi descontinuado em favor do Gemma3-4B, que roda corretamente e responde com qualidade no mesmo hardware.

Alternativa recomendada

CyberPaul/ratio-gemma3-4b-gguf — LLM generativo do RATIO:

• Fine-tune Gemma3-4B-IT (8.501 exemplos de ratio decidendi)
• GGUF Q4_K_M (~2.5 GB), roda em CPU
• Validação empírica completa (RAG single-turn e multi-turn) ✅

---

O que era este modelo

Modelo Qwen2.5-7B-Instruct ajustado para o domínio jurídico brasileiro (extração, síntese e explicação da ratio decidendi), exportado em GGUF Q4_K_M e Q8_0 para uso local.

Arquivos disponíveis

• Qwen2.5-7B-Instruct.Q4_K_M.gguf (~4.7 GB)
• Qwen2.5-7B-Instruct.Q8_0.gguf (~8.1 GB)

Uso (caso queira testar mesmo assim)

ollama create ratio-qwen -f Modelfile
ollama run ratio-qwen

⚠️ Em hardware CPU, o Qwen 7B pode gerar saída degradada (repetição de dígitos). Teste antes de adotar. Recomendamos o Gemma3.

---

Dados de treinamento

Fine-tune (LoRA) com Unsloth sobre o dataset RATIO v3, consolidado a partir de:

• acórdãos do STJ e STF
• extrações estruturadas do pipeline RATIO
• sínteses supervisionadas da ratio decidendi

---

Limitações

• ⚠️ Legacy: descontinuado em favor do Gemma3-4B
• Pode resumir demais em casos muito complexos
• Pode reproduzir vieses do corpus jurisprudencial
• Exige validação humana em uso profissional

---

Créditos

• Fine-tuning e pipeline jurídico: CyberPaul / Projeto RATIO
• Modelo base: Qwen2.5-7B-Instruct
• Conversão/quantização GGUF: Unsloth
• Runtime local: Ollama / llama.cpp

---

Citação

@misc{ratio_qwen_2026,
  author = {CyberPaul},
  title  = {RATIO Qwen 7B v2 (legacy): GGUF experimental para extracao de ratio decidendi no direito brasileiro},
  year   = {2026},
  url    = {https://huggingface.co/CyberPaul/ratio-qwen-7b-gguf-v2}
}