bart-base-portuguese

BART (base-sized model)

BART pre-treinado em português.

Descrição do modelo

BART é um modelo do tipo transformer encoder-decoder (seq2seq) com um encoder bidirecional (semelhante a BERT) e um decoder autorregressivo (semelhante a GPT). O BART é pré-treinado (1) corrompendo o texto com uma função de ruído arbitrária e (2) aprendendo um modelo para reconstruir o texto original.

O BART é particularmente eficaz quando feito fine-tuning para geração de texto (por exemplo, resumo, tradução), mas também funciona bem para tarefas de compreensão (por exemplo, classificação de texto e QA).

Usos e limitações

Você pode usar o modelo base para preenchimento de texto. No entanto, o modelo será mais útil após o fine-tuning em um dataset para uma tarefa específica.

Como usar

from transformers import BartTokenizer, BartModel

tokenizer = BartTokenizer.from_pretrained('adalbertojunior/bart-base-portuguese')
model = BartModel.from_pretrained('adalbertojunior/bart-base-portuguese')

inputs = tokenizer("No meio do caminho havia uma pedra", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

@misc {adalberto_ferreira_barbosa_junior_2024,
	author       = { {Adalberto Ferreira Barbosa Junior} },
	title        = { bart-base-portuguese (Revision 149de72) },
	year         = 2024,
	url          = { https://huggingface.co/adalbertojunior/bart-base-portuguese },
	doi          = { 10.57967/hf/3264 },
	publisher    = { Hugging Face }
}