sabia-7b-ptbr-chat

Sabiá-7B PT-BR Chat (LoRA)

Fine-tune do maritaca-ai/sabia-7b para seguir instruções e conversar em português brasileiro.

• Autor do fine-tune: Thiago
• Tipo: adapter PEFT/LoRA (QLoRA 4-bit)
• Contexto do base: 2048 tokens
• Template de chat (obrigatório — o Sabiá-7B original não tem chat_template):

### Sistema:
{system}

### Usuário:
{pergunta}

### Assistente:

Como usar

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base = "maritaca-ai/sabia-7b"
adapter = "thigas88/sabia-7b-ptbr-chat"

tokenizer = AutoTokenizer.from_pretrained(adapter, use_fast=False)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(
    base,
    device_map="auto",
    dtype=torch.float16,
)
model = PeftModel.from_pretrained(model, adapter, offload_dir="./offload")

SYSTEM = (
    "Você é um assistente prestativo que responde sempre em português brasileiro "
    "natural, claro e direto. Se não souber, diga que não sabe."
)
prompt = (
    f"### Sistema:\n{SYSTEM}\n\n"
    f"### Usuário:\nMe explique a LGPD em linguagem simples.\n\n"
    f"### Assistente:\n"
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=256, temperature=0.7, top_p=0.9, repetition_penalty=1.12)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Dados

• dominguesm/Canarim-Instruct-PTBR-Dataset
• recogna-nlp/ultra-alpaca-ptbr

Avisos de licença

O Sabiá-7B herda a licença do LLaMA-1, restrita a pesquisa. Parte dos dados de SFT (Canarim) é CC-BY-NC-4.0. Este repositório não autoriza uso comercial. Verifique as licenças do modelo-base e dos datasets antes de qualquer deploy.

Limitações

• Corte de conhecimento do base: meados de 2022.
• Tokenizer LLaMA-1 (pouco eficiente em português).
• Contexto curto (2048).
• Pode misturar registro ou alucinar fatos. Não use para aconselhamento jurídico/médico sem revisão humana.