bilstm-crf-cnn-fasttext-ner

BiLSTM + CRF + CNN + FastText — NER en Espanol (CoNLL-2002)

Descripcion

Modelo BiLSTM con capa CRF, embeddings FastText y CharCNN para extraer rasgos morfologicos de los caracteres de cada palabra. El vector de caracteres se concatena con el embedding de FastText antes de entrar al BiLSTM.

Resultados comparativos — evolucion de arquitecturas

Supera baseline: SI

Evolucion del entrenamiento

Arquitectura

• CharCNN: 3 filtros convolucionales (tamanos 3,4,5) de 30 canales cada uno
• Embeddings FastText (300 dim) + embeddings caracteres (90 dim) = 390 dim total
• BiLSTM capa 1: 256 unidades bidireccional
• BiLSTM capa 2: 128 unidades bidireccional
• LayerNorm + Dropout
• Capa CRF para coherencia de etiquetas

Por que CNN ayuda

El CharCNN captura la estructura morfologica de palabras no vistas en entrenamiento. Por ejemplo, reconoce que una palabra terminada en "-mente" suele ser un adverbio, o que palabras con mayuscula inicial suelen ser nombres propios.

Configuracion de entrenamiento

• Dataset: CoNLL-2002 (esp.train, esp.testa, esp.testb)
• Plataforma: Kaggle T4 x2
• Optimizer: AdamW (lr=1e-3)
• Early Stopping: patience=7
• Batch size: 32

Maestria CODING - Universidad del Valle

Taller Final PLN - Gran Idea 2