t5-portuguese-small-summarization

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

t5-portuguese-small-summarization

Model description

This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. Some errors due to word accentuation may occasionally occur due to the small version of the model.

model_max_length = 512

Card example 1 with t5-portuguese-small-summarization

Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.

Card example 1 with orginal t5-small

O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos, como a nica rival significativa de Trump no partido.

This model is a fine-tuned version of google-t5/t5-small

• Loss: 1.8997
• Rouge1: 15.0817
• Rouge2: 5.3292
• Rougel: 12.958
• Rougelsum: 13.8768
• Gen Len: 18.968

GPU: RTX 3060, 12GB, =~3500 cuda cores

HOW TO USE

!pip install transformers
from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

prompt =f"""
sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
"""
output =  summarization(prompt)

#Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
#Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 6
• eval_batch_size: 6
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 24
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 25
• mixed_precision_training: Native AMP

Training results

Framework versions

• Transformers 4.38.2
• Pytorch 2.2.1+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2

Comments

Any idea, help or report will always be welcome.

email: [email protected]

<div style="display:flex; flex-direction:row; justify-content:left"> <a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank"> <img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white"> </a> <a href="https://github.com/rhaymisonbetini" target="_blank"> <img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white"> </a> </div>