finetune-embedding-all-MiniLM-L6-v2-geotechnical-test-v3

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2 on the json dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2 <!-- at revision fa97f6e7cb1a59073dff9e6b13e2715cf7475ac9 -->
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GbrlOl/finetune-embedding-all-MiniLM-L6-v2-geotechnical-test-v3")
# Run inference
sentences = [
    '¿Cuál es la población total de la comuna de Catemu según el Censo 2017?',
    'Plan de Cierre PAG Planta Catemu \nCompañía Explotadora de Minas (CEMIN) \n \n \n Rev. 0 | 20-04-18 25 | 158 \n3.5 Medio humano \n \nLa localidad más próxima a a la planta corresponde a la localidad del mismo nombre. Catemu , comuna \nperteneciente a la provincia de San Felipe de Aconcagua, de la Región de Valparaíso . La planta se encuentra \nubicada a 85 km al norte de Santiago y 95 km del puerto de Valparaíso. \n \nSegún información del Instituto Nacional de Estadísticas (I NE) para el Ce nso 2017, la población total de la \ncomuna Catemu es de 13.998 habitantes, correspondiendo a los totales de 6.982 hombres y 7.016 mujeres. \nEl número total de viviendas es 5.171 y densidad de población de 38,8 (Hab/km 2). \n \nLa actividad económica que  predomina en la comuna de Catemu corresponde al sector de A gricultura, caza, \nganadería y silvicultura  (correspondiendo a un total del 32,7%). Respecto a l a actividad minera , esta  \nrepresenta solo el 2,8% de la mano de obra comunal. \n \nEl ingreso autónomo promedio del hogar es, en el caso de la comuna de Catemu, inferior al promedio \nregional ($618.371 para la región de Valparaíso), alcanzando los $415.146. Los niveles de pobreza son, según \nla encuesta CASEN del año 2009, son relativamente bajos, para la comuna de Catemu es de 8,17%, inferior al \npromedio regional (15,04%). Los niveles de desocupación se encuentran bajo el promedio regional (12% en \nla Región de Valparaíso) llegando a 9,5%.',
    '[7]. VST Ingenieros Ltda. (2006). Informe Analisis de Estabilidad.  \nDocumento N° 1005-IB-GE-IT-03, Preparado para Minera Las Cenizas \nS.A., Proyecto Ingeniería Básica Depó sito en Pasta, Planta Cabildo, \nSantiago. \n[8]. SYS Ingenieros Consultores Ltda. (2008). Estudio de Peligro Sísmico, \nEspectros de Respuesta y Generación de Registros Artificiales, para el \nDepósito en Pasta, Planta Cabildo, V Región. Documento N° SS-08011-\n01e, Preparado para Minera Las Cenizas S.A., Proyecto Ingeniería Básica \nDepósito en Pasta, Planta Cabildo, Santiago.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Semantic Similarity

• Dataset: sts_dev
• Evaluated with <code>EmbeddingSimilarityEvaluator</code>

Binary Classification

• Dataset: quora_duplicates_dev
• Evaluated with <code>BinaryClassificationEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

json

• Dataset: json
• Size: 5,005 training samples
• Columns: <code>query</code>, <code>sentence</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	query	sentence	label
  type	string	string	int
  details	<ul><li>min: 8 tokens</li><li>mean: 27.85 tokens</li><li>max: 66 tokens</li></ul>	<ul><li>min: 34 tokens</li><li>mean: 233.48 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>0: ~45.30%</li><li>1: ~54.70%</li></ul>

• Samples:

  query	sentence	label
  <code>¿Cuál es la aceleración máxima obtenida para el sismo máximo probable según las fórmulas de atenuación de Ruiz y Saragoni (2005)?</code>	<code>Las aceleraciones máximas obtenidas para cada uno de los sismos de diseño considerados, se <br>determinaron a partir de las fórmulas de atenuación propuestas por Ruiz, S. y Saragoni, R. (2005), <br>alcanzando un valor de 0,79g para el sismo de operación y de 0,86g para el sismo máximo probable, <br>ver Figura 4.10.</code>	<code>1</code>
  <code>¿Qué tipo de información estratégica no se identifica como de utilidad pública para la faena minera El Toqui?</code>	<code>PLAN DE CIERRE TEMPORAL – FAENA MINERA EL TOQUI <br> Sociedad Contractual Minera El Toqui <br>Capítulo 9 – Información Estratégica <br> <br> <br>REVISIÓN [0] <br>9-123 <br> <br>9. INFORMACIÓN ESTRATÉGICA <br>Para faena El Toqui , no se identifica información técnica que sea considerada de utilidad pública, tal <br>como la relativa la infraestructura, monumentos nacionales, según definición de la ley 17.288, sitios de <br>valor antropológico, arqueológico, histórico y, en general, los perte necientes al patrimonio <br>arquitectónico y natural, en el área de influencia del proyecto.</code>	<code>1</code>
  <code>¿Qué condiciones se deben verificar al momento del cierre del tranque de relaves según el compromiso RES 1219-2013?</code>	<code>6 <br>1.2.3 Tranque de Relaves <br>Se incorporan los compromisos asociados a Sectoriales, desde el punto de vista de Estabilidad Física. <br>Los compromisos de Sectoriales asociados al Tranque de Relaves son los siguientes: <br>RES 1219-2013. Plan de Cierre 2009 <br>• Al momento del cierre, se verificarán que las condiciones de estabilidad de los taludes de los <br>muros estén de acuerdo a los coeficientes de sismicidad. Si esta condición no se cumple, se <br>evaluará la instalación de un muro de protección al pie del talud, así como la compactación <br>de berma de coronamiento. <br>• Se manejarán las aguas superficiales para asegurar estabilidad del depósito en el largo <br>plazo y el control de la erosión. Este manejo podrá incluir, entre otras, el reperfilamiento de la <br>superficie del depósito para permitir un drenaje natural positivo o una infiltración aceptable, la <br>evaporación de lagunas de aguas claras, un programa de manejo de cubeta, etc. <br>En función de que los compromisos adquiridos por Anglo American, O...</code>	<code>1</code>

• Loss: <code>CoSENTLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 100
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.3.1
• Transformers: 4.48.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->