pocket-lm-269m-generica

Pocket-LM 269M — base genérica (generica-v1)

Modelo de linguagem de 269M de parâmetros em português do Brasil. É a base "pura" da família Pocket-LM: não viu nenhum dado de tarefa (nome interno corpus-limpo-v1).

Linhagem de dados: o pré-treino não foi do zero nesta base. A fase final consumiu 3,08 bi de fichas únicas amostradas de um corpus de 12,31 bi montado só com fontes cuja licença é declarada pelos distribuidores: finepdfs e FineWeb2-HQ (ODC-By 1.0, que cobre a base de dados, não automaticamente cada documento nela) e HPLT 2.0 (CC0). Ela continuou pesos de fases anteriores (13,1 bi de fichas) cuja fonte principal é o ClassiCC-PT, que não declara licença. Total: 16,2 bi de fichas únicas. Para bases pré-treinadas do zero sem essa fase, veja pocket-lm-269m-conversa e pocket-lm-269m-executor.

Arquitetura GPT decoder-only: 20 camadas, 16 cabeças, n_embd 1024, contexto 512, vocabulário BPE próprio de 16.384 (treinado no corpus pt-BR). Pesos em bf16 safetensors; código de carga em MaxxArtes/pocket-lm-269m (treino/model.py).

Números medidos

¹ Uma varredura por 13-gramas no material de treino do projeto achou correspondência para 155 das 2.076 frases do CALAME-PT (08/09/2026). O número nas 1.921 sem correspondência detectada ainda não foi calculado.

Referência: supera o Tucano-1b1 (34,70) em LAMBADA-PT com ~1/4 dos parâmetros. Modelos multilíngues maiores vão além na mesma régua (Qwen2.5-0.5B 41,55; Llama-3.2-1B 49,21). Tabela completa (3 bases × 4 tratamentos de SFT), receitas e constantes medidas: https://github.com/MaxxArtes/pocket-lm-269m

Uso pretendido

Base para SFT/adapters em pt-BR e para rodar offline no celular via GGUF (Q4_K_M: 177 MB, ou 169 MiB; testado em Android com llama.cpp). Sem alinhamento: não usar como assistente sem etapa própria de SFT/segurança.