ML2025_fine_tuned_embeddings_final

SentenceTransformer based on sentence-transformers/all-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L12-v2 <!-- at revision c004d8e3e901237d8fa7e9fff12774962e391ce5 -->
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Stergios-Konstantinidis/ML2025_fine_tuned_embeddings_final")
# Run inference
sentences = [
    'Der Bund ist ja gemäss diesen Ausführungen im Moment selbst daran, die Gewässerschutzzonen zu überarbeiten.',
    'Der Bund ist ja gemäss diesen Ausführungen im Moment selbst daran, die Gewässerschutzzonen zu überarbeiten.',
    'Auch nach der Session erhielt ich keine Reaktionen von Gemeinden oder anderen Kommunalverbänden.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 1.0000, 0.2699],
#         [1.0000, 1.0000, 0.2699],
#         [0.2699, 0.2699, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 846,800 training samples
• Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	int
  details	<ul><li>min: 4 tokens</li><li>mean: 117.03 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 117.03 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>1: 100.00%</li></ul>

• Samples:

  sentence_0	sentence_1	label
  <code>Bundesgericht Tribunal fédéral Tribunale federale Tribunal federal {T 0/2} 9C_26/2017 Urteil vom 28. Februar 2017 II. sozialrechtliche Abteilung Besetzung Bundesrichterin Pfiffner, Präsidentin, Bundesrichterin Glanzmann, Bundesrichter Parrino, Gerichtsschreiber R. Widmer. Verfahrensbeteiligte A., vertreten durch Rechtsanwalt Dr. Kurt Pfau, Beschwerdeführerin, gegen IV-Stelle des Kantons Zürich, Röntgenstrasse 17, 8005 Zürich, Beschwerdegegnerin. Gegenstand Invalidenversicherung, Beschwerde gegen den Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. November 2016. Sachverhalt: A. Die 1956 geborene A. ist von Beruf Physiotherapeutin. Seit 2008 war sie als Selbstständigerwerbende tätig, ab März 2013 arbeitete sie in einem Pensum von 60 %. Am 7. März 2014 meldete sie sich unter Hinweis auf Schmerzen im Halsbereich bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht lehnte die IV-Stelle d...</code>	<code>Bundesgericht Tribunal fédéral Tribunale federale Tribunal federal {T 0/2} 9C_26/2017 Urteil vom 28. Februar 2017 II. sozialrechtliche Abteilung Besetzung Bundesrichterin Pfiffner, Präsidentin, Bundesrichterin Glanzmann, Bundesrichter Parrino, Gerichtsschreiber R. Widmer. Verfahrensbeteiligte A., vertreten durch Rechtsanwalt Dr. Kurt Pfau, Beschwerdeführerin, gegen IV-Stelle des Kantons Zürich, Röntgenstrasse 17, 8005 Zürich, Beschwerdegegnerin. Gegenstand Invalidenversicherung, Beschwerde gegen den Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. November 2016. Sachverhalt: A. Die 1956 geborene A. ist von Beruf Physiotherapeutin. Seit 2008 war sie als Selbstständigerwerbende tätig, ab März 2013 arbeitete sie in einem Pensum von 60 %. Am 7. März 2014 meldete sie sich unter Hinweis auf Schmerzen im Halsbereich bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht lehnte die IV-Stelle d...</code>	<code>1</code>
  <code>Cour administrative d'appel de Bordeaux, 6ème chambre (formation à 3), 11/12/2012, 11BX02332, Inédit au recueil Lebon Vu le mémoire, enregistré le 18 août 2011, présenté pour la section du bourg de la commune de Ménoire (Corrèze), prise en la personne de son président ;<br><br><br><br> La section du bourg de la commune de Ménoire demande à la cour :<br><br><br><br> 1°) d'annuler le jugement n° 0901949 en date du 23 juin 2011 par lequel le tribunal administratif de Limoges a, sur la demande de M. Serge X, annulé les délibérations du 16 juin 2009 relatives aux baux à conclure avec M. Y, M. Z et Mme A ainsi que le refus opposé à la candidature de M. X le 16 juin 2009 et le rejet de son recours gracieux, le 25 août 2009 ;<br><br><br><br> 2°) de condamner M. X à lui verser la somme de 2 000 euros au titre de l'article L. 761-1 du code de justice administrative ;<br><br><br><br> ---------------------------------------------------------------------------------------------------------<br><br>...</code>	<code>Cour administrative d'appel de Bordeaux, 6ème chambre (formation à 3), 11/12/2012, 11BX02332, Inédit au recueil Lebon Vu le mémoire, enregistré le 18 août 2011, présenté pour la section du bourg de la commune de Ménoire (Corrèze), prise en la personne de son président ;<br><br><br><br> La section du bourg de la commune de Ménoire demande à la cour :<br><br><br><br> 1°) d'annuler le jugement n° 0901949 en date du 23 juin 2011 par lequel le tribunal administratif de Limoges a, sur la demande de M. Serge X, annulé les délibérations du 16 juin 2009 relatives aux baux à conclure avec M. Y, M. Z et Mme A ainsi que le refus opposé à la candidature de M. X le 16 juin 2009 et le rejet de son recours gracieux, le 25 août 2009 ;<br><br><br><br> 2°) de condamner M. X à lui verser la somme de 2 000 euros au titre de l'article L. 761-1 du code de justice administrative ;<br><br><br><br> ---------------------------------------------------------------------------------------------------------<br><br>...</code>	<code>1</code>
  <code>CAA de VERSAILLES, 1ère chambre, 27/02/2024, 22VE00341, Inédit au recueil Lebon Vu la procédure suivante :<br><br><br><br> Procédure contentieuse antérieure :<br><br><br><br> M. et Mme B... et A... C... ont demandé au tribunal administratif de Versailles de prononcer la réduction des suppléments d'impôt sur le revenu auxquelles ils ont été assujettis au titre des années 2013, 2014 et 2015 et de mettre à la charge de l'Etat la somme de 2 500 euros au titre de l'article L. 761-1 du code de justice administrative.<br><br><br><br> Par jugement n° 1906999 du 20 décembre 2021, le tribunal administratif de Versailles a prononcé un non-lieu à statuer sur les impositions en litige à concurrence du dégrèvement de 21 014 euros intervenu en cours d'instance et a rejeté le surplus des conclusions de leur demande.<br><br><br><br> Procédure devant la cour :<br><br><br><br> Par une requête et des mémoires enregistrés les 17 février 2022, 22 décembre 2022 et 12 janvier 2024, M. et Mme C..., représentés...</code>	<code>CAA de VERSAILLES, 1ère chambre, 27/02/2024, 22VE00341, Inédit au recueil Lebon Vu la procédure suivante :<br><br><br><br> Procédure contentieuse antérieure :<br><br><br><br> M. et Mme B... et A... C... ont demandé au tribunal administratif de Versailles de prononcer la réduction des suppléments d'impôt sur le revenu auxquelles ils ont été assujettis au titre des années 2013, 2014 et 2015 et de mettre à la charge de l'Etat la somme de 2 500 euros au titre de l'article L. 761-1 du code de justice administrative.<br><br><br><br> Par jugement n° 1906999 du 20 décembre 2021, le tribunal administratif de Versailles a prononcé un non-lieu à statuer sur les impositions en litige à concurrence du dégrèvement de 21 014 euros intervenu en cours d'instance et a rejeté le surplus des conclusions de leur demande.<br><br><br><br> Procédure devant la cour :<br><br><br><br> Par une requête et des mémoires enregistrés les 17 février 2022, 22 décembre 2022 et 12 janvier 2024, M. et Mme C..., représentés...</code>	<code>1</code>

• Loss: <code>ContrastiveTensionLoss</code>

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveTensionLoss

@inproceedings{carlsson2021semantic,
    title={Semantic Re-tuning with Contrastive Tension},
    author={Fredrik Carlsson and Amaru Cuba Gyllensten and Evangelia Gogoulou and Erik Ylip{"a}{"a} Hellqvist and Magnus Sahlgren},
    booktitle={International Conference on Learning Representations},
    year={2021},
    url={https://openreview.net/forum?id=Ov_sMNau-PF}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->