beto-prostata-ner

BETO fine-tuned para NER de cáncer de próstata (español)

Modelo de Reconocimiento de Entidades Nombradas (NER) que extrae información clínica de textos en español sobre cáncer de próstata. Es un fine-tuning de BETO (BERT entrenado desde cero en español) para clasificación de tokens en formato BIO con 21 etiquetas.

F1 en test: 0.976 (seqeval, micro) · Precision 0.973 · Recall 0.978 · Accuracy 0.995

🎯 Para qué sirve

Detecta y clasifica, palabra por palabra, 10 tipos de entidades clínicas en informes y notas médicas de oncología prostática:

Cada entidad se etiqueta en esquema BIO (B- inicio, I- continuación, O fuera), para 21 etiquetas en total.

🚀 Uso rápido

from transformers import pipeline

ner = pipeline("token-classification", model="ralzate/beto-prostata-ner",
               aggregation_strategy="simple")

texto = ("Paciente masculino de 72 años con adenocarcinoma de próstata, "
         "Gleason 3+3 y PSA de 9.9 ng/dL. Se inicia radioterapia y bicalutamida 50 mg.")

for e in ner(texto):
    print(f"{e['entity_group']:14s} {e['score']*100:5.1f}%  {e['word']}")

Salida esperada (entidades como EDAD, CANCER, GLEASON, BIOMARCADOR, TRATAMIENTO, MEDICAMENTO, DOSIS).

📊 Resultados (conjunto de test, seqeval)

Barrido de batch size con 6 épocas y early stopping:

Este repositorio publica la mejor configuración (batch size 8). El F1 baja levemente al aumentar el lote porque, con 6 épocas, los lotes pequeños dan más pasos de optimización.

Comparación con XLM-RoBERTa

En el mismo dataset, BETO supera a XLM-RoBERTa-base (multilingüe) en todo el barrido (F1 0.955–0.976 vs 0.850–0.936). En NER clínico en español, un encoder nativo en español y compacto rinde mejor que un multilingüe más grande: la especialización lingüística pesa más que el tamaño.

🧠 Detalles de entrenamiento

⚠️ Limitaciones

• Entrenado en un dominio específico (cáncer de próstata en español); fuera de ese dominio el rendimiento puede caer.
• El conjunto de datos es de tamaño moderado; entidades poco frecuentes pueden tener menor recall.
• No sustituye el criterio clínico profesional. Pensado como apoyo a la extracción de información, no para decisiones médicas autónomas.
• Hereda los posibles sesgos de BETO y del corpus clínico de entrenamiento.

🏷️ Etiquetas

O
B-EDAD, I-EDAD, B-CANCER, I-CANCER, B-GLEASON, I-GLEASON,
B-BIOMARCADOR, I-BIOMARCADOR, B-TNM, I-TNM, B-TRATAMIENTO, I-TRATAMIENTO,
B-MEDICAMENTO, I-MEDICAMENTO, B-DOSIS, I-DOSIS, B-CIRUGIA, I-CIRUGIA, B-FECHA, I-FECHA

📚 Cita

Si usas este modelo, cita también a BETO:

@inproceedings{canete2020beto,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

---

Modelo afinado y publicado como parte de un proyecto de PLN en español (clasificación y NER con Transformers). Reproducible en hardware modesto (Apple Silicon) mediante fine-tuning completo para BETO y LoRA para modelos grandes.