Downloads · 30 days
6
14% of all-time downloads
bogdanrivera/legal_oaxaca_llama3-3_70B_lora
legal_oaxaca_llama3-3_70B_lora is a text generation model from bogdanrivera. Use it when you need the model to write or continue text. It is set up for peft.
Este modelo es un fine-tuning especializado del potente unsloth/Llama-3.3-70B-Instruct-bnb-4bit para responder preguntas relacionadas con el ámbito civil del estado de Oaxaca, México.
Downloads · 30 days
6
14% of all-time downloads
All-time downloads
44
Public
Repo size
846 MB
Likes
0
Public
Click a slice to open those files.
.safetensors829 MB · 98%
From the Hugging Face model README
Este modelo es un fine-tuning especializado del potente unsloth/Llama-3.3-70B-Instruct-bnb-4bit para responder preguntas relacionadas con el ámbito civil del estado de Oaxaca, México.
Forma parte de un proyecto de investigación para la creación de un chatbot legal, como parte de mi trabajo de tesis para obtener el grado de Maestro en Inteligencia Artificial (Universidad Tecnológica de la Mixteca, Huajuapan de León, Oaxaca, México).
Este modelo representa una versión más avanzada y con mayor capacidad de razonamiento que su predecesor, la versión de 8B parámetros. Versión anterior (8B): bogdanrivera/legal_oaxaca_llama3-1_8B_unsloth
El modelo fue entrenado con el mismo dataset curado del Código Civil del Estado de Oaxaca utilizado en la versión anterior. El dataset original (pregunta simple -> texto del artículo) fue enriquecido significativamente mediante generación sintética para crear un conjunto de datos más robusto, incluyendo:
Dataset de entrenamiento: https://huggingface.co/datasets/bogdanrivera/legal_civiles_oaxaca_llama_unsloth_template
El modelo base es un transformador de solo decodificador (decoder-only transformer) de la familia Llama 3.3 con 70 mil millones de parámetros. El objetivo del fine-tuning fue especializarlo en el dominio del Código Civil de Oaxaca mediante SFT con adaptadores LoRA para mejorar su capacidad de razonamiento y precisión en un dominio legal complejo.
Rivera, B. (2025). Oaxaca Civil Code Llama 3.3 70B (Version 1.0) [Model]. Hugging Face.
Bogdan Rivera