tupiniquim-1-150m

---

🚀 Tupiniquim-1: The First Open Foundation Model for Brazilian Portuguese (EN)

Tupiniquim-1 is a decoder-only language model, with an architecture based on Google's Gemma, trained from scratch to be a high-performance specialist in Brazilian Portuguese. This project was born from the need for a truly sovereign foundation model, free from the biases of massive pre-training in English and optimized for the nuances of our language.

Forged in the North of Minas Gerais, Brazil, and trained on accessible cloud hardware, Tupiniquim-1 is proof that cutting-edge AI engineering can and should be developed in Brazil.

(PT-BR)

Tupiniquim-1 é um modelo de linguagem decoder-only, com arquitetura baseada no Gemma do Google, treinado do zero (from scratch) para ser um especialista de alta performance no português brasileiro. Este projeto nasceu da necessidade de um modelo de fundação verdadeiramente soberano, livre dos vieses de um pré-treinamento massivo em inglês e otimizado para as nuances da nossa língua.

Forjado no Norte de Minas Gerais e treinado em hardware de nuvem acessível, o Tupiniquim-1 é a prova de que a engenharia de IA de ponta pode e deve ser desenvolvida no Brasil.

🧠 Architecture & Philosophy (EN)

Unlike models that undergo "continued pre-training" from an English base, Tupiniquim-1 was trained from the ground up. This means its "brain" was shaped exclusively by data in Portuguese, resulting in a deeper understanding of Brazilian semantics, grammar, and culture.

Our thesis is that for specialist tasks, a "native" and focused model, even if smaller, outperforms giant and "distracted" models.

(PT-BR)

Ao contrário de modelos que passam por "treinamento contínuo" a partir de uma base em inglês, o Tupiniquim-1 foi treinado do zero. Isso significa que seu "cérebro" foi moldado exclusivamente com dados em português, resultando em uma compreensão mais profunda da semântica, gramática e cultura brasileira.

Nossa tese é que, para tarefas de especialista, um modelo "nativo" e focado, mesmo que menor, supera modelos gigantes e "distraídos".

Detalhes do Modelo (Model Card) Característica

Detalhe

Modelo

Tupiniquim-1-150M

Arquitetura

decoder-only Transformer (baseado em Gemma)

Parâmetros

~150 Milhões

Idioma

Português (Brasil)

Dataset de Treino

dominguesm/Canarim-Instruct-PTBR-Dataset

Ambiente de Treino

Kaggle Notebook (GPU NVIDIA P100 16GB)

Criador

Matheus Trindade (Trindade AI)

📊 Performance "Padrão Ouro" Após a primeira época de treinamento, o Tupiniquim-1 atingiu uma Perplexidade (PPL) de 7.80 em nosso conjunto de validação. Este resultado é considerado "padrão ouro" e supera, em nossa análise, a performance de muitos modelos abertos para o português em sua classe de tamanho.

Mais importante que os números, o modelo demonstrou habilidades emergentes notáveis, como a capacidade de generalização para perguntas fora do escopo de treinamento e o meta-raciocínio, onde ele descreve a categoria de uma resposta que não conhece, em vez de alucinar.

🚀 Como Usar o Tupiniquim-1 Comece instalando as bibliotecas necessárias:

pip install transformers torch sentencepiece

Em seguida, use o seguinte snippet de código Python para carregar o modelo e conversar com ele:

import torch from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "trindadeteu/tupiniquim-1-150m"

Carrega o tokenizer e o modelo

tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, torch_dtype=torch.bfloat16 # Use bfloat16 para performance, se sua GPU suportar )

Move o modelo para a GPU, se disponível

device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device)

Loop de inferência

prompt = "Qual a capital do Brasil?" formatted_prompt = f"### Pergunta: {prompt}\n### Resposta:" inputs = tokenizer(formatted_prompt, return_tensors="pt").to(device)

outputs = model.generate(**inputs, max_new_tokens=50) response_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(response_text)

Saída esperada: ### Pergunta: Qual a capital do Brasil?\n### Resposta: Brasília.

⚠️ Limitações e Considerações Éticas Conhecimento Limitado: O Tupiniquim-1 foi treinado primariamente no dataset Canarim. Seu conhecimento de mundo é limitado a este corpus e ele pode não ter informações sobre eventos recentes ou tópicos muito específicos.

Potencial para Vieses: Como todo LLM, ele pode refletir os vieses presentes em seus dados de treinamento. Use com cautela e para os fins a que se destina.

Não é um Oráculo: Apesar de sua performance, ele ainda pode cometer erros factuais. Sempre verifique informações críticas.

🏛️ A Missão Este projeto é o primeiro passo na criação de um ecossistema de IA verdadeiramente brasileiro. Acreditamos no poder da tecnologia soberana e na capacidade da engenharia nacional de criar soluções de classe mundial.

O Tupiniquim-1 é mais do que um modelo. É um convite para que outros desenvolvedores e pesquisadores brasileiros se juntem a nós na construção do futuro.

📜 Citação Se você usar o Tupiniquim-1 em sua pesquisa, por favor, cite-nos:

@misc{trindade2025tupiniquim, author = {Matheus Trindade}, title = {Tupiniquim-1: Um Modelo de Fundação Aberto para o Português Brasileiro}, year = {2025}, publisher = {Trindade AI}, url = "https://huggingface.co/trindadeteu/tupiniquim-1-150m" }