ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2 on the json dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2 <!-- at revision c9745ed1d9f207416be6d2e6f8de32d1f16199bf -->
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GbrlOl/ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2")
# Run inference
sentences = [
    '¿Qué compromisos ambientales voluntarios ha adquirido el titular del proyecto "Depósito de Relaves Filtrados Doña Rosa"?',
    'Ordinario N° 57 de fecha 25 de Enero de 2011 \ninformó favorablemente.  \n5.  Que, en lo relativo a los efectos, características y circunstancias señalados en los literales “a”,  "b", “c”, \n“d”, “e” y “f”, del artículo 11 de la Ley 19.300, y sobre la base de los antecedentes que constan en el \nexpediente de la evaluación, debe indicarse que el proyecto "Depósito de Relaves Filtrados Doña Rosa” \nno genera ni presenta ninguno de tales efectos, características y circunstancias.  \n6.-    Que, en el proceso de evolución de proyecto " Depósito de Relaves Filtrados Doña Rosa”, el titular \nha adquirido los siguientes compromisos ambientales voluntarios:  \nEl proyecto contempla el monitoreo de aguas superficiales y subterráneas. Respecto a la periodicidad de \nmonitoreo, este será cuatrimestral durante los tres primeros años de operación del proyecto. Una vez \ncumplidos los tres años iniciales, se analizarán los resultados. Sobre la base de dicho análisis el titular \npropondrá fundadamente cambios a los parámetros, puntos y frecuencias de monitoreo, si es que los \nresultados así lo ameritan.  \nEn la siguiente tabla se presentan las coordenadas de los puntos de control de calidad de aguas, tanto \nsuperficiales como subterráneas.',
    '1). \n4.2 Del Proyecto de Depósito de Relaves \n4.2.1 Definición \n\x7f Cierre: Hecho que el depósito de relaves deje de operar por un plazo mayor de dos años o en forma \ndefinitiva o cuando se da por terminada su  vida útil y se han efectuado las acciones tendientes a \nasegurar la obra en el tiempo.  \n\x7f Proyecto de Depósitos de Relaves: el conjunto de estudios técnicos requeridos para la definición de \nun sistema de disposición de relaves, incluyendo etapas de investigación, prospección, diseño, \nevaluación y construcción, cuyos resultados se encuentran en una serie de documentos que para \ngarantizar la estabilidad física y química del depósito y su entorno, con el fin de proteger a las \npersonas, bienes y medio ambiente. (Art. 5). \n\x7f Cierre  final:  Conclusión  definitiva  de  las  actividades  para  el  cierre  de  todas  las labores, áreas \ne instalaciones de una unidad minera, que por razones operativas, no hayan podido cerrarse \ndurante la etapa productiva o comercial, de modo tal que se garantice  el  cumplimiento  de  los  \nobjetivos  de  cierre  contemplados  en  el  Plan  de Cierre  de  Minas  aprobado  y  cuya  adecuada  \nejecución  ha  sido  verificada  a  través de  una  auditoría  integral  dispuesta  por  la  autoridad  \ncompetente,  sin  perjuicio  de las actividades de post cierre que deberán continuar ejecutándose en \nel marco de la legislación ambiental vigente.  \n\x7f Estabilidad física: Comportamiento estable en el corto, mediano y largo plazo de los componentes o',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

json

• Dataset: json
• Size: 1,628 training samples
• Columns: <code>query</code>, <code>sentence</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	query	sentence	label
  type	string	string	int
  details	<ul><li>min: 9 tokens</li><li>mean: 25.12 tokens</li><li>max: 69 tokens</li></ul>	<ul><li>min: 44 tokens</li><li>mean: 232.21 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>0: ~59.80%</li><li>1: ~40.20%</li></ul>

• Samples:

  query	sentence	label
  <code>¿Cuál es el volumen máximo estimado de aguas servidas generadas por el personal durante la etapa de construcción del proyecto?</code>	<code>3.11.5.2. Efluentes Líquidos <br>Etapa de Construcción <br>La única generación de residuos líquidos, corresponderá a las aguas servidas generadas por el personal <br>que trabajará en la etapa de construcción del proyecto, con un volumen máximo estimado de 6,0 m3/día. <br>El personal de construcción se alojará en las instalaciones existentes en la faena de SCMET. Por lo que <br>utilizará los servicios sanitarios que se encuentran en operación en el campamento de SCMET. <br>Durante la jornada de trabajo en terreno, los trabajadores utilizarán los servicios higiénicos de la sala de <br>cambio existente, ubicada en las inmediaciones del portal Doña Rosa. En atención a lo anterior, no se <br>requerirá de la construcción de nuevas instalaciones sanitarias adicionales a las ya existentes en la faena. <br>Etapa de Operación <br>Dadas las características del proceso productivo, no se descargarán residuos industriales líquidos durante <br>esta etapa. Toda el agua resultante del proceso de filtrado del relave será recircul...</code>	<code>1</code>
  <code>¿Dónde no deben ser depositados los materiales de baja calidad para evitar problemas de inestabilidad?</code>	<code>Esto podría incluir material afectado por Steam Heated <br>o suelos asociados a depósitos cuaternarios. Para evitar problemas de inestabilidad, estos <br>materiales de baja calidad no deben ser depositados : ni al pie del botadero Sur; ni al fondo de la <br>cuenca en donde se emplazará el botadero Sur (donde hay mayor espesor de materiales aluviales <br>y piroclásticos); ni bajo el área donde estará emplazado el depósito de relaves filtrados.</code>	<code>1</code>
  <code>¿Cuál es la altura máxima del botadero Cachinalito?</code>	<code>25 <br> <br>Las características geométricas de los botaderos existentes se presentan se indican en la T abla <br>18 y corresponden a las características finales de construcción del botadero. En general , su <br>crecimiento se realizará alcanzando rápidamente su cota final de coronamiento y luego se <br>avanzará frontalmente con una plataforma pareja, hasta lograr la geometría final indicada. <br> <br>Tabla 18. Características Geométricas de Botaderos existentes <br>Botadero <br>Parámetros <br>Altura <br>Máxima Longitud Media Ancho Medio Angulo de Talud <br>(m) (m) (m) (°) <br>1 57 440 270 34 <br>2 55 390 360 34 <br>3 58 420 330 26 <br>4 96 230 160 34 <br>5 110 340 200 36 <br>6 66 240 165 37 <br>7 44 550 435 40 <br> <br> <br>Las características geométricas del botadero Cachinalito se presenta a continuación: <br>Tabla 19. Característica Geométricas Botadero Cachinalito <br>Parámetros <br>Botadero <br>Elevación <br>(msnm) <br>Altura <br>Máxima <br>(m) <br>Longitud <br>Media <br>(m) <br>Ancho Medio <br>(m) <br>Inclinación <br>Talud (H:V) <br>Volumen <br>Final <br> (m3) <br>Cachinalitoa 2710 25 270 1...</code>	<code>1</code>

• Loss: <code>CoSENTLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 100
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.3.1
• Transformers: 4.48.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->