llama3-cpqd

Model Card para -------Upload no Hugging Face-------

Dados Gerais

• Nome: lmsantos/llama3-cpqd
• Tipo: Languege Model, Transformer Decoder-Only
• Licença: Language model
• Modelo base: unsloth/llama-3-8b-Instruct-bnb-4bit

Resumo

Este LLM é resultado de dois fine tuning para tarefas de sumarização aplicado ao modelo Llama 3, cuja arquitetura é "decoder-only". O primeiro fine tuning considerou o dataset XL-Sum csebuetnlp/xlsum, o segundo foi baseado no dataset RecognaSumm recogna-nlp/recognasumm.

Utilização Pretendida

O modelo pode ser usado para tarefas de sumarização de textos em Português-BR. Não foi testado para outros idiomas.

Uso

from peft import PeftModel

from unsloth import FastLanguageModel
import torch
max_seq_length = 6144
dtype = None
load_in_4bit = True

if True:
    from unsloth import FastLanguageModel
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name = "lmsantos/llama3-cpqd", # YOUR MODEL YOU USED FOR TRAINING
        max_seq_length = max_seq_length,
        dtype = dtype,
        load_in_4bit = load_in_4bit,
    )
FastLanguageModel.for_inference(model)

prompt = "<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\nVocê é uma AI especializada em resumir textos em português.Resuma o texto a seguir:<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n{}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n{}<|eot_id|>"

inputs = tokenizer(
[
    prompt.format(
         '''O presidente disse que enquanto mundo faz guerra, pessoas estão passando fome. Lula citou mensagem do papa Francisco. "Estou de acordo. O papa tem mandado seus cardeais que estão discutindo com Zelensky e com Putin", disse Lula ao confirmar que a guerra na Ucrânia foi pauta de seu encontro com o pontífice. Segundo Lula, nunca se sabe como está a cabeça dos dois presidentes, e até o momento, todos acham que vão ganhar, o dado concreto é que vidas estão sendo ceifadas, milhares de pessoas estão morrendo. "Precisamos ter gente envolvida discutindo a paz. É preciso parar de atirar" pediu o chefe do executivo do Brasil. O petista ainda propôs uma rodada de negociações, com interlocutores que os dois lados optarem. Para ele, uma opção poderia ser a ONU (Organização das Nações Unidas).
''', # input
        "", # output - leave this blank for generation!
    )
], return_tensors = "pt").to("cuda")

from transformers import TextStreamer
outputs = model.generate(**inputs, max_new_tokens = 512)
tokenizer.batch_decode(outputs)
print(tokenizer.decode(outputs[0]))

Idiomas

Português-BR

Dados de Treinamento

Os dados de treino que foram considerados neste modelo provém, primeiramente, do dataset XL-Sum csebuetnlp/xlsum e também no dataset RecognaSumm recogna-nlp/recognasumm, ambos compostos por textos de notícias, e estruturados de modo que há o texto original e o sumário de cada notícia. Ou seja, trata-se de um conteúdo típico de aprendizagem supervisionado.