me5-large-construction-adapter

Multilingual E5 Large with Linear Adapter for Construction Terms

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large <!-- at revision ab10c1a7f42e74530fe7ae5be82e6d4f11a719eb -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown -->

• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
  (linear_adapter): MyLinearAdapter(
    (linear): Linear(in_features=1024, out_features=1024, bias=True)
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("RamsesDIIP/me5-large-construction-adapter")
# Run inference
sentences = [
    'Vidrio aislante de luna incolora de 5 mm de espesor, cámara de aire de 10 mm y luna de 3+3 mm de espesor con 1 butiral de color estándard de luna de coloreado, clase 2 (B) 2 según UNE-EN 12600, colocado con perfiles conformados de neopreno sobre aluminio o PVC',
    'Vidrio doble de 5 mm de espesor con cámara de aire de 10 mm y vidrio laminado de 3+3 mm, utilizando butiral estándar de color, clase 2 (B) 2 según UNE-EN 12600, instalado con marcos de neopreno sobre aluminio o PVC.',
    'Vidrio templado de color azul de 6 mm de espesor, con una cámara de aire de 12 mm y luna de 4+4 mm de espesor, utilizando un butiral transparente, clase 1 (A) 1 según UNE-EN 12600, instalado con marcos de acero inoxidable.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Dataset: validation-set
• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,412 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 13 tokens</li><li>mean: 105.73 tokens</li><li>max: 317 tokens</li></ul>	<ul><li>min: 14 tokens</li><li>mean: 102.31 tokens</li><li>max: 282 tokens</li></ul>	<ul><li>min: 14 tokens</li><li>mean: 86.46 tokens</li><li>max: 265 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Hormigonado para riostras y pilarejos, con hormigón para armar autocompactante HA - 40 / AC / 20 / XC4 + XS1 + XA1 con una cantidad de cemento de 350 kg/m3 i relación agua cemento =< 0.45, colocado con cubilote</code>	<code>Vertido de hormigón para vigas y columnas, utilizando hormigón autocompactante HA - 40 / AC / 20 / XC4 + XS1 + XA1 con una dosificación de cemento de 350 kg/m3 y una relación agua-cemento menor o igual a 0.45, aplicado con cubilote.</code>	<code>Hormigonado para cimientos y muros, utilizando hormigón convencional de resistencia media con una cantidad de cemento de 300 kg/m3 y relación agua-cemento =< 0.50, vertido manualmente.</code>
  <code>Tapón extremo de polietileno, diámetro nominal DN 400, conexión hembra-hembra, de superficies interna lisa y externa lisa reforzada con nervios, de fabricación inyectada según norma UNE-EN 13476-3, apta para tubo de saneamiento enterrado sin presión de superficies interna lisa y externa perfilada según norma UNE-EN 13476-3, para doble unión elástica con anillas elastoméricas de estanquidad, colocado sobre lecho de arena de 15 cm de espesor, incluído el relleno del apoyo, con pisón vibrante eléctrico</code>	<code>Tapón de polietileno de diámetro nominal DN 400, con conexión hembra-hembra, superficies internas y externas lisas, fabricado por inyección conforme a la norma UNE-EN 13476-3, adecuado para tubería de saneamiento enterrada sin presión, con doble unión elástica y anillas de sellado, instalado sobre un lecho de arena de 15 cm de grosor, incluyendo el relleno de soporte, utilizando un pisón vibrante eléctrico.</code>	<code>Tapón de PVC, diámetro nominal DN 500, conexión macho-hembra, de superficies interna rugosa y externa lisa, de fabricación extruida según norma UNE-EN 1401, apto para tubo de desagüe superficial con superficies interna y externa lisas, para unión rígida con adhesivo, colocado sobre lecho de grava de 20 cm de espesor, excluido el relleno del soporte, con compactador manual.</code>
  <code>Vidrio aislante de luna incolora de 6+6 mm de espesor con 1 butiral de color estándard clase 2 (B) 2 según UNE-EN 12600, cámara de aire de 6 mm y luna de 8+8 mm de espesor con 1 butiral transparente de luna incolora, clase 2 (B) 2 según UNE-EN 12600, colocado con perfiles conformados de neopreno sobre aluminio o PVC</code>	<code>Vidrio doble de 6+6 mm de espesor con butiral estándar de color clase 2 (B) 2 según UNE-EN 12600, con una cámara de aire de 6 mm y un vidrio de 8+8 mm de espesor con butiral transparente, clase 2 (B) 2 según UNE-EN 12600, instalado con marcos de neopreno sobre aluminio o PVC.</code>	<code>Vidrio templado de color verde de 10+10 mm de espesor con 1 butiral de color personalizado clase 1 (A) 1 según UNE-EN 12600, cámara de aire de 8 mm y luna de 6+6 mm de espesor con 1 butiral opaco, clase 1 (A) 1 según UNE-EN 12600, instalado con marcos de acero inoxidable.</code>

• Loss: <code>TripletLoss</code> with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 176 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 176 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 25 tokens</li><li>mean: 111.19 tokens</li><li>max: 298 tokens</li></ul>	<ul><li>min: 24 tokens</li><li>mean: 104.95 tokens</li><li>max: 272 tokens</li></ul>	<ul><li>min: 24 tokens</li><li>mean: 86.95 tokens</li><li>max: 235 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Sistema de aislamiento térmico por el exterior (SATE) con aislamiento exterior para soporte de revestimiento delgado, con plancha de poliestireno expandido (EPS), de 40 mm de espesor, de 60 kPa de tensión a la compresión, de 1,05 m2·K/W de resistencia térmica, con una cara lisa y borde recto, fijada mecánicamente con mortero de cemento para uso corriente (GP) y taco y soporte de nylon, y revestida con morter de cemento para uso corriente (GP) con malla de fibra de vidrio revestida de PVC, de dimensiones 4x4 mm, con un peso mínimo de 160 g/m2 embebida, acabado exteriormente con enfoscado con mortero monocapa (OC) de cemento, de designación CSIII-W2, según la norma UNE-EN 998-1, colocado manualmente y acabado liso, con parte proporcional de protección de arista con cantonera de aluminio de 5 mm de espesor y 25 mm de desarrollo. No incluye la preparación del soporte. B2+R3 según CTE/DB-HS 2006</code>	<code>Sistema de aislamiento térmico exterior (SATE) con paneles de poliestireno expandido (EPS) de 40 mm, que ofrece una resistencia térmica de 1,05 m2·K/W, fijado con mortero de cemento y reforzado con malla de fibra de vidrio, terminado con un enfoscado monocapa de cemento, cumpliendo con la normativa UNE-EN 998-1.</code>	<code>Sistema de impermeabilización de techos con membrana asfáltica de 3 mm de espesor, con una resistencia a la tracción de 200 N/5 cm, fijada mecánicamente con tornillos de acero inoxidable y sellada con masilla de poliuretano, y revestida con gravilla de 10 mm de diámetro, para mejorar la durabilidad y la estética del acabado, con un peso mínimo de 300 g/m2, colocada en capas cruzadas y con un acabado rugoso, sin incluir la preparación del soporte. B1+R2 según CTE/DB-HS 2006.</code>
  <code>Pared de cerramiento de dos caras vistas de 20 cm de espesor de bloque macizo de mortero cemento, de 400x90x200 mm, liso, blanco con componentes hidrofugantes, categoría I según la norma UNE-EN 771-3, tomado con mortero cemento 1:6 de cemento blanco de albañilería</code>	<code>Muro de cerramiento de doble cara de 20 cm de grosor, construido con bloques macizos de mortero de cemento de dimensiones 400x90x200 mm, acabado liso y blanco, con aditivos hidrofugantes, clasificado como categoría I según la norma UNE-EN 771-3, unido con mortero de cemento 1:6 de cemento blanco para albañilería.</code>	<code>Pared de soporte de una sola cara de 15 cm de espesor de ladrillo hueco de arcilla, de 300x150x200 mm, rugoso, rojo sin aditivos, categoría II según la norma UNE-EN 771-1, unida con mortero de cal 1:3 de cemento gris.</code>
  <code>Hormigonado de losas con hormigón para armar con aditivo hidrófugo HA - 30 / B / 20 / XC4 + XD3 + XF4 + XM2 con una cantidad de cemento de 350 kg/m3 i relación agua cemento =< 0.5, colocado con cubilote</code>	<code>Vertido de losas utilizando hormigón armado con aditivo impermeabilizante HA - 30 / B / 20 / XC4 + XD3 + XF4 + XM2, con una dosificación de cemento de 350 kg/m3 y una relación agua-cemento menor o igual a 0.5, aplicado con cubilote.</code>	<code>Hormigonado de columnas con hormigón para estructuras de soporte con aditivo retardante HR - 25 / A / 15 / XC2 + XD1 + XF2 + XM1 con una cantidad de cemento de 400 kg/m3 y relación agua cemento =< 0.6, vertido con bomba.</code>

• Loss: <code>TripletLoss</code> with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 5
• per_device_eval_batch_size: 5
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 5
• per_device_eval_batch_size: 5
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->