prog_integridade_model

Programa de Integridade Classification Model

Este modelo é um fine-tune do ModernBERT-base para classificação binária, treinado no dataset tcepi/prog_integridade_dataset.

Descrição do Modelo

• Modelo Base: answerdotai/ModernBERT-base
• Tarefa: Classificação Binária de Texto
• Linguagem: Português (pt)
• Framework: PyTorch + Transformers

Métricas de Performance

Conjunto de Teste

Matriz de Confusão

Relatório de Classificação

              precision    recall  f1-score   support

    Negativo     0.9981    0.9905    0.9943       527
    Positivo     0.9908    0.9982    0.9945       542

    accuracy                         0.9944      1069
   macro avg     0.9945    0.9943    0.9944      1069
weighted avg     0.9944    0.9944    0.9944      1069

Uso

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# Carregar modelo e tokenizer
tokenizer = AutoTokenizer.from_pretrained("tcepi/prog_integridade_model")
model = AutoModelForSequenceClassification.from_pretrained("tcepi/prog_integridade_model")

# Classificar texto
text = "Seu texto aqui"
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=8192)

with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.softmax(outputs.logits, dim=-1)
    predicted_class = torch.argmax(predictions, dim=-1).item()

print(f"Classe predita: {model.config.id2label[predicted_class]}")
print(f"Probabilidades: {predictions.tolist()}")

Treinamento

Hiperparâmetros

• Épocas: 10
• Learning Rate: 2e-5
• Batch Size: 8
• Weight Decay: 0.01
• Warmup Ratio: 0.1
• Mixed Precision: FP16
• Optimizer: AdamW

Informações de Treinamento

• Tempo Total: 2731.90 segundos
• Samples/segundo: 14.07
• Loss Final: 0.0701

Tabela de Métricas por Época

Curvas de Treinamento

Loss curve

Métricas por Época

Dataset

O modelo foi treinado usando o dataset tcepi/prog_integridade_dataset.

Limitações

• O modelo foi treinado especificamente para o domínio do dataset Programa de Integridade, e pode não generalizar bem para outros tipos de texto ou domínios.
• Performance pode variar em textos de outros domínios
• Recomenda-se avaliar o modelo antes de usar em produção