qlora-ti-2025-adapter

qlora-ti-2025-adapter

Adapter LoRA (r = 16) para o Llama-2-7B-HF voltado a tarefas de instruction-following em português, com ênfase em temas de Tecnologia da Informação (TI) e tendências 2025.

Fine-tuning leve via QLoRA: o modelo base permanece congelado em 4-bit, apenas ~7 M parâmetros adicionais são treináveis.

---

Detalhes do Modelo

---

Como usar

!pip install bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "meta-llama/Llama-2-7b-hf"
adapter = "acauanrr/qlora-ti-2025-adapter"

tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(
    base,
    load_in_4bit=True,           # mesmo regime do treino
    device_map="auto"
)
model = PeftModel.from_pretrained(model, adapter)

prompt = "Explique em 3 pontos as tendências de TI para 2025."
inputs = tok(prompt, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(**inputs, max_new_tokens=256)[0], skip_special_tokens=True))