Theo-78M-PTBR-Base

<p align="center"> <img src="theo.png" alt="Theo" width="55%"/> </p> <h1 align="center">Theo-78M · Base</h1> <p align="center"> <em>O modelo de referência da série. Treinado no corpus completo.</em><br/> <em>The reference model of the series. Trained on the full corpus.</em> </p> <p align="center"> <a href="https://opensource.org/licenses/Apache-2.0"><img src="https://img.shields.io/badge/License-Apache%202.0-blue.svg"/></a> <img src="https://img.shields.io/badge/Parâmetros-76.8M-orange"/> <img src="https://img.shields.io/badge/Idioma-Português%20Brasileiro-009c3b"/> <img src="https://img.shields.io/badge/GPU-NVIDIA%20L40S-76b900"/> <img src="https://img.shields.io/badge/Domínio-Bíblico-8B0000"/> <a href="https://plvictor.com"><img src="https://img.shields.io/badge/Autor-Paulo%20Victor-7c3aed"/></a> </p>

---

Sobre este modelo

Theo-78M-Base é o maior modelo base concluído da série — 76,8M de parâmetros reais, treinado do zero em 457M tokens (corpus bíblico v3 — completo) de texto cristão em português. É também o primeiro da série a usar janela de contexto de 1.024 tokens, o dobro dos modelos anteriores.

Com 9 camadas (contra 8 do 50M), a profundidade adicional trouxe ganhos mensuráveis na coerência de longo prazo e na qualidade das representações internas. O corpus v3, usado exclusivamente neste modelo, incorporou 12 fontes teológicas novas que não estavam no v1 ou v2 — sermões, comentários, artigos doutrinários — dando ao Theo-78M uma base de conhecimento significativamente mais rica.

Nenhum peso pré-treinado. Nenhuma base em outro modelo. Do zero.

🔗 Versão de chat: plvictor/Theo-78M-PTBR-Chat

---

Diferencial em relação aos modelos anteriores

A janela de contexto dobrada é particularmente relevante para fine-tuning: permite processar textos mais longos sem truncamento, o que é fundamental para comentários bíblicos, estudos exegéticos e textos devocionais completos.

---

Arquitetura

---

Treinamento

---

Como usar

git lfs install
git clone https://huggingface.co/plvictor/Theo-78M-Base
cd Theo-78M-Base
pip install -r requirements.txt

python generate.py --checkpoint theo-78m-base.pt --prompt "No princípio era o Verbo"

import torch
from config import get_config
from src.model import BabelTransformer

cfg   = get_config("babel_78M")
model = BabelTransformer(cfg)
ckpt  = torch.load("theo-78m-base.pt", map_location="cpu", weights_only=False)
model.load_state_dict(ckpt["model_state_dict"], strict=False)
model.eval()

print(f"Parâmetros: {sum(p.numel() for p in model.parameters()):,}")
# → Parâmetros: 76,800,000

---

Limitações

• Treinado exclusivamente em português bíblico-teológico
• Sem alinhamento formal (RLHF, filtragem de segurança)
• Modelo experimental — validar saídas antes de uso em produção

---

Autor

<div align="center">

Paulo Victor Souza · plvictor.com · huggingface.co/plvictor

"No princípio era o Verbo." — João 1:1

</div>