mistral-amazon-titles

Mistral 7B – Fine-Tuned on Amazon Titles (FIAP Tech Challenge)

Este modelo foi treinado a partir do Mistral-7B Instruct (bnb-4bit) usando LoRA (Low-Rank Adaptation) sobre o dataset Amazon Titles – Subset 200k.

🎯 Objetivo

O modelo é especializado em responder perguntas sobre produtos da Amazon, gerando descrições baseadas nos títulos.

Exemplo:

Pergunta: O que é "Girls Ballet Tutu Neon Pink"?
Resposta: High quality 3 layer ballet tutu. 12 inches in length

🔧 Treinamento

• Base model: unsloth/mistral-7b-instruct-v0.2-bnb-4bit
• Método: LoRA + 4bit quantization
• Frameworks: Unsloth, TRL
• Hiperparâmetros principais:
  • LoRA r = 16, alpha = 16, dropout = 0.05
  • Batch size efetivo: 32 (4 × 8 acumulação)
  • Learning rate: 3e-4
  • Max steps: 250
  • Warmup steps: 20

📊 Avaliação

Foram comparados Baseline (Mistral original) e Fine-Tuned em 200 exemplos de teste:

• ROUGE-1 → mais palavras individuais corretas.
• ROUGE-2 → mais pares de palavras coerentes.
• ROUGE-L → maior similaridade estrutural.
• BERTScore → respostas mais próximas semanticamente.

🚀 Uso

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

# Carregar modelo
model_name = "GustavoMaltaGuimaraesBrasil/mistral7b_finetuned_amazon_titles"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

generator = pipeline("text-generation", model=model, tokenizer=tokenizer)

# Teste
pergunta = "O que é 'Girls Ballet Tutu Neon Pink'?"
resposta = generator(pergunta, max_new_tokens=50)
print(resposta[0]["generated_text"])

📌 Referência

• Dataset: Amazon Titles – Subset 200k
• Projeto: FIAP Tech Challenge – Foundation Models