Theo-78M-PTBR-Chat

<p align="center"> <img src="theo.png" alt="Theo" width="55%"/> </p> <h1 align="center">Theo-78M · Chat</h1> <p align="center"> <em>O mais completo da série. 76,8M de parâmetros. Treinado do zero. Em português. Sobre a Bíblia.</em><br/> <em>The most complete of the series. 76.8M parameters. From scratch. In Portuguese. On the Bible.</em> </p> <p align="center"> <a href="https://opensource.org/licenses/Apache-2.0"><img src="https://img.shields.io/badge/License-Apache%202.0-blue.svg"/></a> <img src="https://img.shields.io/badge/Parâmetros-76.8M-orange"/> <img src="https://img.shields.io/badge/Idioma-Português%20Brasileiro-009c3b"/> <img src="https://img.shields.io/badge/GPU-NVIDIA%20L40S-76b900"/> <img src="https://img.shields.io/badge/Domínio-Bíblico-8B0000"/> <img src="https://img.shields.io/badge/Avaliação-B%20%2F%207.5-success"/> <a href="https://plvictor.com"><img src="https://img.shields.io/badge/Autor-Paulo%20Victor-7c3aed"/></a> </p>

---

Sobre este modelo

Theo-78M-Chat é o modelo mais capaz da série concluída — 76,8M de parâmetros reais, ajustado em ~19.000 pares de conversação teológica sobre uma base pré-treinada em 457M tokens (corpus bíblico v3 — completo) de texto cristão em português.

É o único da série com janela de contexto de 1.024 tokens, o que permite conversas mais longas e coerentes. Em avaliação qualitativa manual, obteve nota B / 7,5 — resultado notável para um modelo treinado do zero, por uma única pessoa, em GPU de nuvem.

Theo é um assistente cristão evangélico brasileiro: caloroso, curioso e apaixonado pela Palavra. Ele faz perguntas de volta. Usa emojis com naturalidade. Cita versículos. Explica teologia em linguagem acessível.

🔗 Versão base (CPT): plvictor/Theo-78M-PTBR-Base

---

Este modelo é raro

Em 2026, praticamente todos os LLMs especializados em Bíblia disponíveis publicamente são:

• Em inglês
• Baseados em modelos pré-treinados maiores (LLaMA, Mistral, etc.)
• Desenvolvidos por equipes ou empresas

Theo é diferente em todos os três pontos. É um modelo em português brasileiro, treinado do zero em corpus bíblico-teológico, criado por uma única pessoa. Não existe outro como ele publicamente disponível.

---

Avaliação qualitativa (Theo-78M-Chat)

Avaliado manualmente em junho de 2026:

Nota geral: B / 7,5

Para referência: GPT-2 (117M parâmetros) foi treinado em texto geral em inglês e não possui especialização. Theo-78M, com menos parâmetros, demonstra profundidade temática e identidade que modelos gerais não têm nesse domínio.

---

Arquitetura

---

Treinamento

---

Como usar

git lfs install
git clone https://huggingface.co/plvictor/Theo-78M-Chat
cd Theo-78M-Chat
pip install -r requirements.txt

# Chat interativo
python chat.py

# Com parâmetros personalizados
python chat.py --temperature 0.8 --max_tokens 400

import torch
from config import get_config
from src.model import BabelTransformer

cfg   = get_config("babel_78M")
model = BabelTransformer(cfg)
ckpt  = torch.load("theo-78m-chat.pt", map_location="cpu", weights_only=False)
model.load_state_dict(ckpt["model_state_dict"], strict=False)
model.eval()

print(f"Parâmetros: {sum(p.numel() for p in model.parameters()):,}")
# → Parâmetros: 76,800,000

---

Limitações honestas

• Não é GPT-4. É um modelo de 76,8M de parâmetros treinado do zero.
• Multi-turno com histórico longo ainda é fraco — o contexto de 1024 tokens tem limite real
• Pode alucinar referências bíblicas — sempre verifique citações importantes
• Sem alinhamento formal (RLHF, filtragem) — use com critério

---

Autor

<div align="center">

Paulo Victor Souza · plvictor.com · huggingface.co/plvictor

"No princípio era o Verbo." — João 1:1

</div>