llama3-finetuned-alpaca

Llama 3.2 1B Fine‑tuned with Unsloth (LoRA)

Modelo Llama 3.2 1B entrenado con Unsloth y adaptadores LoRA (r=8) sobre 500 ejemplos del dataset alpaca-cleaned.

🤖 Descripción del modelo

• Arquitectura base: Llama 3.2 1B
• Técnica: LoRA (Low‑Rank Adaptation)
• Cuantización: 4‑bit (NF4)

🚀 Cómo usar el modelo

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    "Samuel11111997/llama3-finetuned-alpaca",
    max_seq_length=512,
    load_in_4bit=True,
)

# Generar texto
inputs = tokenizer("### Instruction:\nExplica qué es el fine‑tuning\n\n### Response:\n", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📈 Resultados del entrenamiento

Entorno: Google Colab (Tesla T4)

Épocas: 3

Learning rate: 2e‑4

Pérdida final: 1.13

🌍 Impacto ambiental

Hardware: Tesla T4

Tiempo: ~3 min/época

🔗 Proyecto

Repositorio ai-mastery: https://github.com/spl248/ai-mastery/

Artículo técnico: https://medium.com/@spulido248/fine-tuning-de-llama-3-2-con-unsloth-el-siguiente-nivel-de-la-especializaci%C3%B3n-en-ia-9c909337c8e6

Vídeo demo: Al finalizar este video.

📝 Licencia

Apache 2.0