Downloads · 30 days
4
9% of all-time downloads
bogdanrivera/legal_oaxaca_llama3-1_8B_unsloth
legal_oaxaca_llama3-1_8B_unsloth is a text generation model from bogdanrivera. Use it when you need the model to write or continue text. It is set up for peft.
El modelo funciona para responder preguntas relacionadas al ámbito civil del estado de Oaxaca, México. Forma parte de un proyecto relacionado a un chatbot legal especializado en el ámbito civil mexicano. De parte de m…
Downloads · 30 days
4
9% of all-time downloads
All-time downloads
44
Public
Repo size
185 MB
Likes
0
Public
Click a slice to open those files.
.safetensors168 MB · 91%
From the Hugging Face model README
El modelo funciona para responder preguntas relacionadas al ámbito civil del estado de Oaxaca, México. Forma parte de un proyecto relacionado a un chatbot legal especializado en el ámbito civil mexicano. De parte de mi trabajo de tesis para obtener el grado de Maestro en Inteligencia Artificial (Universidad Tecnológica de la Mixteca, Huajuapan de León, Oaxaca, México).
Training Data
El modelo fue entrenado con un dataset curado del Código Civil del Estado de Oaxaca. El dataset original (pregunta simple -> texto del artículo) fue enriquecido significativamente mediante generación sintética para crear un conjunto de datos más robusto, incluyendo:
Preguntas Conceptuales y de Razonamiento.
Solicitudes de Resumen y Explicaciones Simples.
Variaciones Coloquiales de las preguntas.
Ejemplos Negativos para enseñar al modelo sus límites.
Entrenado con el siguiente dataset: https://huggingface.co/datasets/bogdanrivera/legal_civiles_oaxaca_llama_unsloth_template
Framework: Unsloth
Técnica: Supervised Fine-Tuning (SFT) con PEFT/LoRA
lora_r: 16
lora_alpha: 16
lora_dropout: 0
target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
learning_rate: 2e-5 (recomendado)
num_train_epochs: 3 (recomendado)
per_device_train_batch_size: 2
gradient_accumulation_steps: 4
optimizer: adamw_8bit
Tiempo de entrenamiento aproximado: ~3.5 horas.
Hardware Type: 1x NVIDIA GeForce RTX 4060 Laptop GPU
Hours used: 3.5
Cloud Provider: Local Machine
Compute Region: Huajuapan de León, Oaxaca, México.
Carbon Emitted: Aproximadamente 161 g de CO2eq, estimado con una potencia de 115W y un factor de emisión de 400 gCO2eq/kWh.
El modelo base es un transformador de solo decodificador (decoder-only transformer) de la familia Llama 3.1. El objetivo del fine-tuning fue especializarlo en el dominio del Código Civil de Oaxaca mediante SFT con adaptadores LoRA.
unsloth
torch==2.7.1
transformers==4.53.2
peft==0.16.0
trl
Rivera, B. (2025). Oaxaca Civil Code Llama 3.1 8B (Version 1.0) [Model]. Hugging Face.
Bogdan Rivera