Downloads · 30 days
15
18% of all-time downloads
gutoportelaa/qwen2.5-1.5b-dompi-teresina-v3
qwen2.5-1.5b-dompi-teresina-v3 is a machine learning model from gutoportelaa. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Resposta alternativa à Questão 1: pré-treino continuado de parâmetros plenos sobre o subcorpus curado de Teresina (tier A+B, ~9,3 M tokens) com o objetivo de treino corrigido. Ganho de −12,9% PPL no held-out de Teresi…
Downloads · 30 days
15
18% of all-time downloads
All-time downloads
85
Public
Parameters
1.5B
3.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors3.1 GB · 99%
From the Hugging Face model README
Resposta alternativa à Questão 1: pré-treino continuado de parâmetros plenos sobre o
subcorpus curado de Teresina (tier A+B, ~9,3 M tokens) com o objetivo de treino corrigido.
Ganho de −12,9% PPL no held-out de Teresina (6,91 → 6,02; token-acc 58,8% → 60,8%). A resposta
canônica (dataset completo) é gutoportelaa/qwen2.5-1.5b-dompi-fullft-unificado.
Pré-treino continuado de Qwen/Qwen2.5-1.5B sobre o DOM-PI (Diário Oficial dos
Municípios do Piauí). Resultados no held-out, com o objetivo de treino corrigido:
| Implementação | Corpus | held-out PPL | Δ vs baseline |
|---|---|---|---|
| Baseline Qwen2.5-1.5B | — | 10,03 (unif) / 6,91 (Teresina) | — |
| Full FT — dataset COMPLETO (v2) | DOM-PI unificado | 8,90 | −11,3% ✓ |
| Full FT Teresina v3 | Teresina curado | 6,02 | −12,9% ✓ |
| QLoRA — dataset completo (v2) | DOM-PI unificado | 9,88 | −1,4% |
Em ambos os corpora, o Full FT de parâmetros plenos supera o PEFT (QLoRA) na adaptação de domínio — como a teoria de DAPT prevê.
As primeiras rodadas treinaram com um duplo shift de rótulos: o dataset
pré-deslocava os labels (block[1:]) e o modelo HuggingFace também desloca
internamente, fazendo o treino otimizar "prever o token 2 posições à frente". Isso
inflava a loss de treino para ~11 e dava resultados degradados (full FT unificado
parecia +121%, e o QLoRA "vencia" com +4,4%). Corrigido o alinhamento
(input_ids == labels), o full FT unificado foi de +121% → −11,3% e passou a
superar o PEFT — invertendo a conclusão obtida sob o bug.
Prompt: "PORTARIA Nº 130… O PREFEITO MUNICIPAL DE COCAL… RESOLVE: Art. 1º"
Avaliação como gerador G2 no sistema de RAG (Questão 5).