slm-gpt

SLM-GPT (~144M)

Small Language Model decoder-only estilo GPT, treinado do zero. Arquitetura moderna com RoPE, atenção causal multi-head, MLP SwiGLU, RMSNorm (pré-normalização) e weight tying entre embedding e cabeça de saída. Otimizado com Muon (matrizes internas) + AdamW (embedding/norms).

• Parâmetros: 143.7M total · 111.5M sem embedding
• Tokenizador: BPE do GPT-2 (tiktoken, encoding gpt2)
• Contexto: 1024 tokens
• Idioma: inglês (treinado em FineWeb)

Arquitetura

• Positional encoding: RoPE (Rotary Position Embeddings)
• Atenção: Causal Multi-Head Self-Attention
• Ativação (MLP): SwiGLU
• Normalização: RMSNorm (pré-norm)

Detalhes de treino

Curvas de treino em loss_curve.png / lr_schedule.png; métricas brutas em metrics.csv.

Conteúdo do checkpoint (ckpt.pt)

torch.load(..., weights_only=False) retorna um dict com:

Como usar

O código do modelo (model/, data/tokenizer.py) está no repositório do projeto. Com ele no path:

import torch
from model import GPT, GPTConfig

# 1. carregar checkpoint
ckpt = torch.load("ckpt.pt", map_location="cpu", weights_only=False)

# 2. reconstruir o modelo a partir da config salva
config = GPTConfig(**ckpt["model_config"])
model = GPT(config)
model.load_state_dict(ckpt["model"])
model.eval()

# 3. gerar texto (o GPT já embute o tokenizer GPT-2)
prompt = "The history of artificial intelligence"
idx = torch.tensor([model.tokenizer.encode(prompt)], dtype=torch.long)
out = model.generate(idx, max_new_tokens=100, temperature=0.8, top_k=200)
print(model.tokenizer.decode(out[0].tolist()))

Retomar o treino

O optimizer e loaders no checkpoint permitem continuar exatamente de onde parou (ver training/checkpoint.py e training/train.py --resume).

Limitações

Modelo pequeno de pré-treino, sem fine-tuning de instrução nem alinhamento. Gera texto em inglês no estilo do FineWeb e pode produzir conteúdo incorreto, repetitivo ou enviesado. Uso educacional / de pesquisa.