Downloads · 30 days
6
0% of all-time downloads
agusnieto77/byt5-portada-contrastivo
byt5-portada-contrastivo is a machine learning model from agusnieto77. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Modelo ByT5 encoder afinado con aprendizaje contrastivo para similitud semántica entre variantes OCR y formas canónicas de gentilicios y entidades históricas en español. Desarrollado en el marco del proyecto PortADa.
Downloads · 30 days
6
0% of all-time downloads
All-time downloads
9.2K
Public
Parameters
218M
436 MB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors436 MB · 100%
From the Hugging Face model README
Modelo ByT5 encoder afinado con aprendizaje contrastivo para similitud semántica entre variantes OCR y formas canónicas de gentilicios y entidades históricas en español. Desarrollado en el marco del proyecto PortADa.
Este modelo es un encoder (T5EncoderModel), no un modelo seq2seq.
Genera embeddings que se comparan por similitud coseno.
import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, T5EncoderModel
tokenizer = AutoTokenizer.from_pretrained("agusnieto77/byt5-portada-contrastivo")
model = T5EncoderModel.from_pretrained("agusnieto77/byt5-portada-contrastivo", torch_dtype=torch.bfloat16)
model.eval()
def get_embedding(texto):
inputs = tokenizer(texto, return_tensors="pt", truncation=True, max_length=128)
with torch.no_grad():
out = model(**inputs)
mask = inputs["attention_mask"].unsqueeze(-1).expand(out.last_hidden_state.size()).float()
return (out.last_hidden_state.float() * mask).sum(1) / mask.sum(1).clamp(min=1e-9)
emb1 = get_embedding("española")
emb2 = get_embedding("ospanola")
print(F.cosine_similarity(emb1, emb2).item())
byt5_portada)group_id): 5,059El entrenamiento contrastivo utiliza mean pooling sobre la salida del encoder y
una variante de Multiple Negatives Ranking Loss con group masking e inclusión
de hard negatives por grupo.
Dada una variante OCR ruidosa, el modelo identifica a cuál forma canónica corresponde por similitud semántica en el espacio de embeddings.
| Variante OCR | Match canónico | Score |
|---|---|---|
| lngles | inglesa | 0.7583 |
| 1ng1es | inglesa | 0.7172 |
| injlesa | inglesa | 0.9030 |
| ings | inglesa | 0.8683 |
| trancesa | francesa | 0.7523 |
| frances | francesa | 0.9714 |
| franc | francesa | 0.8940 |
| ospanola | española | 0.7472 |
| spanol | española | 0.7770 |
| espanoli | española | 0.9157 |
| esp | española | 0.6613 |
| spanish | española | 0.7563 |
| Spain | española | 0.5947 |
| Cuba | cubana | 0.7676 |
| Cubana | cubana | 0.8206 |
| CuBaña | cubana | 0.7784 |
| cvban0 | cubana | 0.7739 |
| uruguay | uruguaya | 0.9735 |
| Uruguay | uruguaya | 0.8640 |
| oriental | uruguaya | 0.6300 |
| ur | uruguaya | 0.6407 |
| ori0ntal | uruguaya | 0.6805 |
| Or1ent4l | uruguaya | 0.5156 |
Este modelo se enmarca en el proyecto PortADa (Port Arrivals Data), centrado en el análisis de llegadas de buques en los puertos de Barcelona, Marsella, La Habana y Buenos Aires entre 1850 y 1915. El proyecto busca generar una base de datos de aproximadamente 1 millón de registros a partir de prensa histórica.
Sitio oficial: https://www.proyectoportada.eu/