qwen2.5-3b-novatech-lora

NovaTech AI Assistant — LoRA Fine-Tuning

Este repositório contém os adaptadores LoRA resultantes do ajuste fino (fine-tuning) do modelo base para atendimento corporativo da NovaTech Consulting & Solutions.

1. Descrição do Projeto e Caso de Uso

• Empresa: NovaTech Consulting & Solutions
• Nicho: Consultoria de Gestão, Estratégia e Tecnologia Corporativa
• Objetivo: Responder a dúvidas de clientes sobre os produtos e serviços da NovaTech (Consultoria de Estratégia, Consultoria de Gestão, Consultoria de Tecnologia, Soluções Customizadas e Treinamentos).

2. Modelo Base e Treinamento

• Modelo Base: unsloth/Qwen2.5-3B-Instruct
• Método de Fine-Tuning: QLoRA (4-bit quantization)
• Dataset: Base proprietária em formato JSONL com mensagens system, user e assistant.

3. Como Carregar e Usar para Inferência

Pode carregar o modelo e os adaptadores LoRA utilizando a biblioteca transformers e peft:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# 1. Definir os repositórios
base_model_id = "unsloth/Qwen2.5-3B-Instruct"
peft_model_id = "SEU_USUARIO_HF/NOME_DO_SEU_REPOSITORIO"  # Altere para o seu utilizador/modelo

# 2. Carregar o Tokenizer e o Modelo Base
tokenizer = AutoTokenizer.from_pretrained(base_model_id)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 3. Carregar os adaptadores LoRA treinados
model = PeftModel.from_pretrained(base_model, peft_model_id)

# 4. Exemplo de Inferência
messages = [
    {"role": "system", "content": "Você é um assistente virtual especializado da NovaTech..."},
    {"role": "user", "content": "Quais são os principais serviços da NovaTech?"}
]

prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=200)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)

print(response)