Theo-10M-PTBR-Chat

<p align="center"> <img src="theo.png" alt="Theo" width="55%"/> </p> <h1 align="center">Theo-10M · Chat</h1> <p align="center"> <em>Menor que um app de celular. Consegue falar sobre a Bíblia.</em><br/> <em>Smaller than a phone app. Can talk about the Bible.</em> </p> <p align="center"> <a href="https://opensource.org/licenses/Apache-2.0"><img src="https://img.shields.io/badge/License-Apache%202.0-blue.svg"/></a> <img src="https://img.shields.io/badge/Parâmetros-7.4M-orange"/> <img src="https://img.shields.io/badge/Idioma-Português%20Brasileiro-009c3b"/> <img src="https://img.shields.io/badge/GPU-NVIDIA%20L40S-76b900"/> <img src="https://img.shields.io/badge/Domínio-Bíblico-8B0000"/> <a href="https://plvictor.com"><img src="https://img.shields.io/badge/Autor-Paulo%20Victor-7c3aed"/></a> </p>

---

Sobre este modelo

Theo-10M-Chat é a versão conversacional do menor modelo da série — 7,4M de parâmetros, ajustado em ~19.000 exemplos de diálogo teológico via SFT (Supervised Fine-Tuning).

O resultado é surpreendente para o tamanho: o modelo entende o formato de conversa, mantém foco temático bíblico e responde de forma coerente em português. Não é perfeito — e nem deveria ser. Ele demonstra que é possível construir um assistente especializado extremamente leve, sem APIs externas, sem custo de inferência em nuvem.

Roda em CPU. Em tempo real. Com menos de 30 MB de peso.

🔗 Versão base (CPT): plvictor/Theo-10M-PTBR-Base

---

Para que serve?

• Ambientes com recursos mínimos — CPU, edge, microcontroladores com inferência otimizada
• Protótipos de chatbot cristão leve — resposta rápida, baixo custo
• Estudo de SFT em modelos pequenos — como o fine-tuning transforma um modelo base
• Comparação de qualidade — baseline para medir o ganho dos modelos maiores

---

Arquitetura e Treinamento

---

Como usar

git lfs install
git clone https://huggingface.co/plvictor/Theo-10M-Chat
cd Theo-10M-Chat
pip install -r requirements.txt

python chat.py

import torch
from config import get_config
from src.model import BabelTransformer

cfg   = get_config("babel_10M")
model = BabelTransformer(cfg)
ckpt  = torch.load("theo-10m-chat.pt", map_location="cpu", weights_only=False)
model.load_state_dict(ckpt["model_state_dict"], strict=False)
model.eval()

---

Limitações

• Qualidade inferior aos modelos maiores da série — esperado e intencional
• Janela de contexto de 512 tokens limita conversas longas
• Pode perder coerência em turnos múltiplos
• Não passou por RLHF ou filtragem de segurança

---

Autor

<div align="center">

Paulo Victor Souza · plvictor.com · huggingface.co/plvictor

"No princípio era o Verbo." — João 1:1

</div>