modelo-beto-nivelDeRiesgo5

modelo-beto-nivelDeRiesgo5

Modelo BETO ajustado finamente (fine-tuned) para la clasificación del nivel de riesgo institucional en comentarios cualitativos de heteroevaluación docente en español, en el contexto de la Universidad Francisco de Paula Santander (UFPS), Colombia.

El modelo clasifica comentarios estudiantiles anónimos en tres niveles:

---

Descripción del modelo

Este modelo es un fine-tuning de BETO — el modelo BERT preentrenado en español desarrollado por el DCC UChile — adaptado para clasificación multiclase de texto educativo informal en español latinoamericano.

El entrenamiento forma parte de un proyecto de investigación orientado a automatizar el análisis de los resultados del sistema de evaluación docente (SET) de la UFPS, reemplazando la revisión manual de cientos de comentarios estudiantiles por semestre con un componente de inteligencia artificial capaz de detectar automáticamente situaciones que requieren atención del director de departamento.

El modelo fue seleccionado como parte de un experimento comparativo que incluyó cuatro arquitecturas Transformer preentrenadas en español: RoBERTuito, BETO, DistilBETO y Electricidad (ELECTRA-es). El número de épocas de entrenamiento (5) fue determinado mediante análisis de curvas de pérdida para garantizar que el modelo opera en su punto óptimo de generalización, previo al inicio del sobreajuste.

---

Uso del modelo

Instalación

pip install transformers torch

Inferencia directa

from transformers import pipeline

clasificador = pipeline(
    "text-classification",
    model="DevOB/modelo-beto-nivelDeRiesgo5",
    tokenizer="DevOB/modelo-beto-nivelDeRiesgo5",
)

comentario = "El profesor nunca llegaba a tiempo y no respondía las preguntas en clase."
resultado = clasificador(comentario)
print(resultado)
# [{'label': 'MEDIO', 'score': 0.82}]

Inferencia con Transformers completo

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_id = "DevOB/modelo-beto-nivelDeRiesgo5"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)
model.eval()

comentario = "Este profesor tiene actitudes irrespetuosas hacia los estudiantes."

inputs = tokenizer(
    comentario,
    return_tensors="pt",
    truncation=True,
    max_length=128,
    padding="max_length"
)

with torch.no_grad():
    outputs = model(**inputs)

probs = torch.softmax(outputs.logits, dim=-1)
id2label = model.config.id2label
prediccion = id2label[probs.argmax().item()]
confianza = probs.max().item()

print(f"Nivel de riesgo: {prediccion} (confianza: {confianza:.2%})")

---

Datos de entrenamiento

El modelo fue entrenado sobre un corpus de 9,457 comentarios cualitativos en español originados en evaluaciones docentes estudiantiles (heteroevaluación), con la siguiente distribución de clases:

El corpus fue construido a partir de comentarios reales anonimizados de la UFPS, complementados con datos traducidos al español desde el inglés mediante Gemini Pro para enriquecer la representación de las clases de menor frecuencia. Los textos fueron limpiados y normalizados manteniendo las características del lenguaje coloquial estudiantil (abreviaciones, errores ortográficos típicos) para preservar la distribución lingüística real del entorno de producción.

Partición del dataset:

• Entrenamiento: 80% (7,565 muestras)
• Prueba: 20% (1,892 muestras)
• Semilla aleatoria: 42

---

Configuración de entrenamiento

El número de épocas (5) fue seleccionado mediante análisis de curvas de pérdida. En el experimento de 12 épocas, la Loss de validación de BETO comienza a divergir significativamente de la Loss de entrenamiento a partir de la época 6 (eval_loss > 0.90), señal de sobreajuste. La época 5 representa el último punto con eval_loss < 0.90 (0.8376), garantizando generalización real sin memorización del corpus.

Curva de pérdida (experimento 12 épocas):

⚠️ Sobreajuste detectado a partir de época 6 (eval_loss > 0.90).

---

Resultados de evaluación

Evaluación sobre el conjunto de prueba (1,892 muestras, época 5):

Métricas globales

Métricas por clase

Matriz de confusión

⚠️ Nota importante: 97 comentarios de clase ALTO son clasificados como MEDIO (27.2% de falsos negativos críticos). Para aplicaciones donde la detección de riesgo alto es prioritaria, se recomienda evaluar el ajuste de umbral de decisión o considerar modelos con mayor Recall en la clase ALTO (ver DistilBETO de este mismo proyecto).

---

Limitaciones y consideraciones

• Dominio específico: El modelo fue entrenado exclusivamente sobre comentarios de heteroevaluación docente universitaria en Colombia. Su rendimiento en otros dominios (reseñas, redes sociales, soporte técnico, etc.) no ha sido evaluado y puede ser significativamente inferior.
• Idioma: Optimizado para español latinoamericano informal. No se garantiza rendimiento equivalente en español peninsular u otras variedades.
• Desbalance de clases: La clase ALTO representa solo el 18.9% del corpus, lo que se refleja en un Recall ALTO (71%) inferior al de las demás clases. Aplicaciones con alta sensibilidad a falsos negativos en riesgo alto deben considerar estrategias de umbral o reentrenamiento con datos aumentados.
• Longitud de texto: El modelo fue entrenado con un máximo de 128 tokens. Comentarios significativamente más largos serán truncados, con posible pérdida de información al final del texto.
• Privacidad: Este modelo fue entrenado sobre datos anonimizados. No debe utilizarse para identificar personas ni para procesar datos personales sin las salvaguardas legales correspondientes.

---

Uso previsto

✅ Casos de uso apropiados:

• Apoyo a directores de departamento en la revisión de comentarios de heteroevaluación docente
• Priorización automática de comentarios para revisión humana
• Generación de alertas tempranas en sistemas de gestión académica

❌ Casos de uso no apropiados:

• Toma de decisiones definitivas sobre docentes sin revisión humana
• Procesamiento de datos fuera del ámbito de la evaluación docente universitaria
• Aplicaciones que requieran certeza absoluta en la detección de riesgo

---