Corpus_spanish_palenquero

Proyecto de Grado – Traducción Automática con MarianMT

Este repositorio contiene el desarrollo de un sistema de traducción automática basado en MarianMT, entrenado con un corpus propio y evaluado mediante métricas estándar de desempeño.

El objetivo del proyecto es demostrar un pipeline completo y reproducible de entrenamiento, validación y evaluación de un modelo de traducción automática neuronal.

---

Estructura del repositorio

├── Crecer_dataset/ │ └── Datos crudos y preprocesados ├── fineTuning/ │ ├── train.py │ └── eval.py ├── mt_finetuned/ │ └── Modelo entrenado ├── mt_eval/ │ ├── test_split.csv │ └── metrics.json ├── corpus_base.csv ├── corpus_bt.csv └── README.md

• Crecer_dataset/: Contiene los datos originales y preprocesados.
• fineTuning/: Scripts de entrenamiento y evaluación.
• mt_finetuned/: Modelo MarianMT entrenado y guardado.
• mt_eval/: Resultados de evaluación y métricas.
• corpus_base.csv / corpus_bt.csv: Corpus utilizados para entrenamiento y pruebas.

---

Pipeline de entrenamiento y pruebas

El flujo completo del sistema es el siguiente:

Datos → train.py → modelo entrenado → eval.py → métricas → mt_eval/

Fases del pipeline

1. Preprocesamiento de datos
   Los datos se limpian, estructuran y organizan en la carpeta Crecer_dataset/.

2. Entrenamiento del modelo
   El script train.py realiza el fine-tuning del modelo MarianMT usando el corpus de entrenamiento y guarda el modelo resultante en mt_finetuned/.

3. Evaluación con conjunto de prueba
   El script eval.py carga el modelo entrenado, evalúa su desempeño sobre el conjunto test_split.csv y calcula métricas cuantitativas.

4. Almacenamiento de resultados
   Las métricas generadas se guardan en el archivo mt_eval/metrics.json, permitiendo trazabilidad y reproducibilidad.

---

Cómo ejecutar el proyecto

Entrenamiento del modelo

python fineTuning/train.py
Evaluación del modelo
python fineTuning/eval.py
Archivos generados
mt_eval/test_split.csv → Conjunto de datos usado para pruebas.
mt_eval/metrics.json → Métricas de desempeño del modelo (BLEU, accuracy, entre otras).

 Resultados

Las métricas de evaluación se generan automáticamente durante la fase de pruebas y se almacenan en mt_eval/metrics.json.

Ejemplo de contenido del archivo:

{
  "BLEU": 32.5,
  "Accuracy": 0.87
}

Estos resultados corresponden a una evaluación independiente del proceso de entrenamiento, cumpliendo con los criterios académicos de validación experimental.