Downloads · 30 days
158
21% of all-time downloads
daliu3/stela-27b-v0.1-GGUF
stela-27b-v0.1-GGUF is a machine learning model from daliu3. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Quantizações GGUF do modelo daliu3/baxi-27b — fine-tuning de unsloth/Qwen3.6-27B (QLoRA, r=64, α=64) para administração pública brasileira com Language-Mixed Chain-of-Thought (raciocínio em PT-BR com termos técnicos e…
Downloads · 30 days
158
21% of all-time downloads
All-time downloads
763
Public
Repo size
128 GB
Likes
0
Public
Click a slice to open those files.
.gguf99.9 GB · 100%
From the Hugging Face model README
Quantizações GGUF do modelo daliu3/baxi-27b — fine-tuning de unsloth/Qwen3.6-27B (QLoRA, r=64, α=64) para administração pública brasileira com Language-Mixed Chain-of-Thought (raciocínio em PT-BR com termos técnicos em EN, resposta final em PT-BR).
BaXi-27B é um modelo open-source de 27 bilhões de parâmetros especializado em domínio público brasileiro: LGPD, Lei nº 14.133/2021 (Nova Lei de Licitações), Portal da Transparência, regulamentos universitários, ABNT NBR 6023, dados abertos. Treinado em dataset sintético destilado de DeepSeek-V4-Flash seguindo o protocolo Qwopus3.5-27B (Jackrong, 2026).
Loss final: 0.6565 • VRAM: 23.68 GB • Tempo: 6.59 min (A100 80GB).
| Arquivo | Quantização | Tamanho | RAM mínima | Recomendação |
|---|---|---|---|---|
Qwen3.6-27B.Q4_K_M.gguf | Q4_K_M | 16.55 GB | ~20 GB | Recomendado para inferência local (laptops com 24+ GB RAM, RTX 3090) |
Qwen3.6-27B.Q8_0.gguf | Q8_0 | 28.60 GB | ~32 GB | Maior qualidade, ainda viável em workstation |
Qwen3.6-27B.BF16-00001-of-00002.gguf | BF16 (shard 1/2) | 50.00 GB | — | Parte 1 dos pesos BF16 |
Qwen3.6-27B.BF16-00002-of-00002.gguf | BF16 (shard 2/2) | 3.80 GB | ~60 GB total | Sem perda; só para A100/H100 ou múltiplas GPUs |
Qwen3.6-27B.BF16-mmproj.gguf | BF16 (mmproj) | 0.93 GB | — | Projetor multimodal (não-usado em chat texto) |
Nota: O arquivo
*-mmproj.ggufé o projetor multimodal do Qwen3.6-VL e não é necessário para inferência de texto puro (caso de uso do BaXi).
ollama pull hf.co/daliu3/baxi-27b-GGUF:Q4_K_M
ollama run hf.co/daliu3/baxi-27b-GGUF:Q4_K_M
# Download via huggingface-cli
huggingface-cli download daliu3/baxi-27b-GGUF Qwen3.6-27B.Q4_K_M.gguf --local-dir ./baxi-gguf
# Inferência
./llama-cli -m ./baxi-gguf/Qwen3.6-27B.Q4_K_M.gguf \
-p "Quais são as modalidades de licitação na Lei 14.133/2021?" \
-n 1024 --temp 0.7
from llama_cpp import Llama
llm = Llama.from_pretrained(
repo_id="daliu3/baxi-27b-GGUF",
filename="Qwen3.6-27B.Q4_K_M.gguf",
n_ctx=8192,
n_gpu_layers=-1, # offload total se tiver GPU
)
resp = llm.create_chat_completion(
messages=[
{"role": "system", "content": "Você é BaXi, assistente especializado em administração pública brasileira."},
{"role": "user", "content": "O que mudou na licitação com a Lei 14.133/2021?"},
],
max_tokens=1024,
)
print(resp["choices"][0]["message"]["content"])
A comparação formal modelo base vs BaXi-27B está planejada em dois benchmarks:
Metodologia seguindo padrões do Proceedings of the International Conference on Artificial Intelligence and Law (ICAIL).
@misc{baxi27b2026,
title = {BaXi-27B: Fine-tuning de LLM para Administração Pública Brasileira com Language-Mixed Chain-of-Thought},
author = {Camilo, Leonardo},
year = {2026},
publisher = {HuggingFace},
howpublished = {\url{https://huggingface.co/daliu3/baxi-27b}}
}
Apache 2.0 — mesma do modelo base unsloth/Qwen3.6-27B.