longformer-cv-direct

Longformer español — clasificador de CVs (direct, hasta 4096 tokens)

Fine-tuning de mrm8488/longformer-base-4096-spanish para clasificar currículums en español en 43 categorías profesionales, leyendo hasta 4,096 tokens (~10 páginas) en una sola pasada, sin truncar ni usar chunking.

Métricas (test de 2,681 documentos, evaluación única)

Es el peor resultado global de los modelos comparados en este proyecto, pero el único que lee documentos largos completos sin truncar ni fragmentar; la brecha de F1 entre documentos cortos y largos es la más pequeña (0.775 vs 0.758, frente a 0.822 vs 0.810 de XLM-RoBERTa chunked).

Uso

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained("heidercs/longformer-cv-direct")
model = AutoModelForSequenceClassification.from_pretrained("heidercs/longformer-cv-direct")
model.eval()

texto = "..."  # texto del CV, hasta ~10 paginas
inputs = tokenizer(texto, truncation=True, max_length=4096, return_tensors="pt")
with torch.no_grad():
    probs = torch.softmax(model(**inputs).logits, dim=-1)[0]

idx = int(probs.argmax())
print(model.config.id2label[idx], float(probs[idx]))

Calibración de confianza

Confianza softmax discrimina errores (media 0.768 en aciertos vs 0.504 en errores) pero satura bajo (máximo observado 0.944). Umbral recomendado: 0.65 (71% del test resuelto directo con 90.4% de acierto en esa ruta).

Datos de entrenamiento

Corpus público de currículums en inglés (43 categorías), traducido a español con MarianMT. 6,195 documentos de entrenamiento / 2,681 de test. La licencia de redistribución exacta del corpus de origen depende de sus términos publicados; revisar antes de un uso comercial estricto.

Requisitos de cómputo

Requiere considerablemente más memoria de GPU que un modelo de 512 tokens al procesar contextos de hasta 4,096 tokens.