similarber_model_EdPub

SentenceTransformer based on sentence-transformers/distiluse-base-multilingual-cased-v2

This is a sentence-transformers model finetuned from sentence-transformers/distiluse-base-multilingual-cased-v2. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/distiluse-base-multilingual-cased-v2 <!-- at revision bfe45d0732ca50787611c0fe107ba278c7f3f889 -->
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 512 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 512, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '##gieversorgung sowie Nachhaltigkeit und Innovation zunehmend in den Fokus. Dazu pflegte die Schweiz einen regen Austausch mit den Staaten der Arabischen Halbinsel. Bundesrat Ueli Maurer besuchte mit einer Finanzdelegation im März Mit Katar fand am 5. September 2022 erstmals ein Finanz - und Wirtschaftsdialog in Dübendorf statt. Mit Am 11. August 2022 empfing der Bundespräsident den Aussenminister der Vereinigten Arabischen Emirate im Tessin. Weiter im Fokus standen auch der Einsatz für den Frieden, Menschenrechtsfragen und der Kampf gegen Straflosigkeit, sowie mehrjährige Projekte im Bildungs - und Gouvernanzbereich und die humanitäre Hilfe in den akuten Krisenkontexten. Nach dem Tod von Mahsa Amini hatte die Schweiz den Vorfall als eines der ersten Länder auf höchster Stufe mit Iran thematisiert und eine rasche, unabhängige und unparteiische Aufklärung gefordert. Die Schweiz hat zudem die Gewaltanwendung der iranischen Sicherheitskräfte im Zusammenhang mit den aktuellen Protesten verurteilt und Iran mehrfach auf bilateraler und multilateraler Ebene zur Einhaltung seiner menschenrechtlichen Verpflichtungen aufgefordert. Nach Abwägung aller Interessen, inklusive der Guten Dienste, hat sie hingegen die entsprechenden Sanktionen der EU nicht übernommen. Die Schweiz hat ihre Bemühungen für eine Lösung des Nahostkonflikts im Berichtsjahr fortgesetzt. Be',
    '##roissement de la fragilité, la multiplication des conflits et l ’ aggravation des problèmes liés à l ’ endettement et au changement climatique. Au sein des banques de développement, la Suisse plaide toujours pour une gestion axée sur les résultats, des partenariats efficaces, des normes environnementales et sociales élevées, et une orientation centrée sur l ’ Agenda 2030. En juillet, le groupe de vote de la Suisse a célébré le 30 La Suisse a par ailleurs repris la présidence de son groupe de vote au conseil exécutif de la Banque asiatique d ’ investissement pour les infrastructures. G20 Sous la présidence indonésienne du G20, la Suisse a participé en 2022 aux travaux du volet financier ( Dans le volet financier, les travaux se sont concentrés sur la fiscalité, les efforts visant à élaborer des critères pour la taxation internationale des entreprises dans le Cadre inclusif de l ’ OCDE et la finance verte, avec un accent sur le financement de la transition et des infrastructures. Dans le cadre du volet Sherpa, la Suisse a pris part aux discussions du groupe de travail anticorruption sur le rôle des contrôleurs de gestion et les plateformes électroniques de signalement. Droit international La guerre en Ukraine a montré que de nombreux États refusent d ’ assister sans rien faire à de graves violations du droit international : on a notamment observé un attachement accru au cadre de droit international actuellement en vigueur. En collaboration avec les organes parlementaires compétents, l ’ administration a poursuivi ses travaux pour préciser les modalités de participation du Parlement dans le domaine',
    'bei. Die Abkommen erleichterten den Absatz schweizerischer Exportprodukte, der Zugang zu Fachkräften im Rahmen des FZA erlaubte es Schweizer Firmen, diese zusätzliche Nachfrage zu erfüllen. ( Ursprüngliches Forschungsabkommen der Bilateralen I, ausgelaufen am 31. Dezember 2002, danach mehrere Folgeabkommen. ) Die wirtschaftliche Bedeutung der Bilateralen I für die Schweiz ist Gegenstand verschiedener Studien, die insgesamt klar eine positive Bilanz ziehen. Im Auftrag des SECO wurden 2015 zwei wissenschaftliche Studien erarbeitet, in denen die Konsequenzen eines Wegfalls der Bilateralen I untersucht werden. Die Begrenzung der Zuwanderung mittels Kontingenten würde das Arbeitsangebot verringern und die Kosten der Rekrutierung von Arbeitskräften erhöhen. Ohne die Bilateralen I käme es ausserdem zu neuen Handelsbarrieren gegenüber der EU. Folglich würde sich die Schweizer Wettbewerbsfähigkeit verschlechtern, was auch den inländischen Wettbewerb verringern würde. Die Studien gingen davon aus, dass kumuliert über die Jahre bis 2035 mit einer Einbusse des Schweizer Bruttoinlandprodukts von insgesamt 460 bis 630 Milliarden Franken zu rechnen wäre. Abrufbar unter : www. seco. admin. ch > Aussenwirtschaft > Wirtschaftsbeziehungen mit der EU > Wirtschaftliche Bedeutung der Bilateralen. ( Der Bericht basiert auf den',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 6,450 training samples
• Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	<ul><li>min: 60 tokens</li><li>mean: 127.88 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 9 tokens</li><li>mean: 127.52 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 11 tokens</li><li>mean: 127.19 tokens</li><li>max: 128 tokens</li></ul>

• Samples:

  sentence_0	sentence_1	sentence_2
  <code>- Switzerland » - Ansatz verpflichtet. Setzen wir diese Leitlinien für die Jahre 2022−2028 gemeinsam um. Und tragen wir damit dazu bei, dass wir in diesem und in anderen Bereichen der Agenda 2030 der Erreichung der Nachhaltigkeitsziele Schritt für Schritt näherkommen. Bundespräsident Ignazio Cassis Vorsteher Eidgenössisches Departement für auswärtige Angelegenheiten Inhaltsverzeichnis Vom Niger überschwemmte Reisfelder in Mali ( George Steinmetz, National Geographic ). Grundlagen “ Die einzige Alternative zu Wasser ist Wasser. ” Die Nachfrage nach Süsswasser nimmt weltweit zu. Die UNO Das Wachstum der Weltbevölkerung, der fortschreitende Klimawandel und die Umweltverschmutzung sind nur einige der Faktoren, welche den Druck auf die verfügbaren Wassermengen stetig erhöhen. Die Schweiz trägt seit langem dazu bei, für Herausforderungen rund um das Thema Wasser Lösungen zu entwickeln. Sie hat hierfür viel Expertise aufgebaut. Mit den vorliegenden Leitlinien soll dieses Profil weiter geschär...</code>	<code>##herzustellen. Zum Aussennetz der Schweiz gehören rund 170 Auslandsvertretungen ( Botschaften, ständige Missionen bei der UNO / internationalen Organisationen, Generalkonsulate, Kooperationsbüros, weitere Vertretungen ) und rund 200 Honorarvertretungen ( Stand : Mai 2021 ). Das Aussennetz der Schweiz orientiert sich an den Grundsätzen Universalität, Kohärenz und Wirksamkeit. « Blue Peace » ist auch eine diplomatische Initiative der Schweiz. « Blue Peace » basiert auf einer Reihe von Projekten und Programmen, welche auf verschiedenen Ebenen eine grenz -, sektor - und generationenübergreifende Zusammenarbeit im Bereich Wasser fördern, mit dem Ziel eine nachhaltige sozio - ökonomische Entwicklung zu unterstützen und somit zu Stabilität, Wohlstand, Sicherheit und Frieden beizutragen. Zur zivilen Friedensförderung gehören Beiträge zur Prävention, Entschärfung oder Lösung von Gewaltkonflikten, namentlich durch Vertrauensbildung, Vermittlung und die Förderung des humanitären Völkerrechts und...</code>	<code>Ref. AN 721 - 04 - 02 - 01 - 5 Datum Vertretung Notizen Übungsleitung : Erdbeben Sie finden hier für jede PowerPoint - Folie eine Seite mit den folgenden Informationen : ( Anzeigedauer : 1 Minute ) Inhalt : Dieser Abschnitt umfasst den Inhalt der Folie sowie eine Kurzanleitung, was Sie sagen könnten, während Sie die Folie im Bildschirmpräsentationsmodus zeigen. Zum Beispiel : « Willkommen zu dieser Krisenübung. In den nächsten drei Stunden werden wir unseren Krisenmodus auf die Probe stellen, um die Stärken und Schwächen unseres Krisenmanagements zu identifizieren. Dadurch können wir uns besser auf eine echte Krise vorbereiten, denn Übung macht ja bekanntlich den Meister. » Anmerkungen : Dieser Abschnitt enthält Notizen für Sie als Übungsleiter / in, so dass Sie den Ablauf der Übung besser verstehen. Hier steht auch, wenn Sie den Teilnehmerinnen und Teilnehmern zusätzliche Informationen geben oder ausgefüllte Formulare, Antworten auf E - Mails usw. einsammeln müssen. Evaluation : Diese...</code>
  <code>##lienza dei soggetti critici e procedere alla valutazione dei rischi. Il Parlamento ha approvato la proposta il 10 novembre 2022 e il Consiglio il 28 novembre 2022 Follow - up : La direttiva è entrata in vigore all ’ inizio del 2023. Gli Stati membri hanno 21 mesi di tempo, dalla data dell ’ entrata in vigore della direttiva, per recepirne le disposizioni nelle rispettive legislazioni nazionali. Centro nazionale per la cibersicurezza ( NCSC ) e Ufficio federale delle comunicazioni ( UFCOM ) Misura 15 : revisione della direttiva recante misure per un livello comune elevato di sicurezza delle reti e dei sistemi informativi ( direttiva NIS ) Possibili conseguenze per la Svizzera L ’ elemento centrale della prima direttiva NIS era l ’ introduzione di un La seconda direttiva ne prevede l ’ estensione, in particolare ad altri soggetti. Un simile obbligo non esiste ancora in Svizzera. Tuttavia, il Dipartimento federale delle finanze ( DFF ) ha già elaborato un disegno di legge volto a introd...</code>	<code>##nira un financement supplémentaire lié aux technologies quantiques pour le développement et le renforcement des capacités numériques stratégiques de l ’ Europe. Etat des travaux législatifs Secrétariat d ' État à la formation, à la recherche et à l ' innovation ( SEFRI ) Mesure 9 : Stratégie européenne en technologies quantiques Possibles conséquences pour la Suisse Ces dernières années, les chercheurs suisses ont participé avec succès à des projets de technologie quantique dans le cadre d ’ Horizon 2020 / Quantum Technologies Flagship et de l ’ initiative européenne La Suisse souhaite poursuivre sa coopération de longue date avec l ’ Europe dans ce domaine. L ' association aux programmes Horizon Europe ( HEU ) et Digital Europe ( DEP ) étant une condition préalable à la poursuite de la participation de la Suisse aux différentes activités dans le domaine des technologies quantiques, la Suisse reste exclue. La « souveraineté technologique » étant l ’ une des priorités de la stratégie ...</code>	<code>russischen Überfall auf die Ukraine. Der Krieg in der Ukraine, in unmittelbarer Nachbarschaft mehrerer EU - Mitgliedstaaten, stellt die europäische Sicherheitsarchitektur infrage und dürfte dafür sorgen, dass die Sicherheitspolitik in der EU zu einem deutlich prominenteren Politikfeld wird, als sie es bisher war. Im Bereich der Entwicklungszusammenarbeit besteht zwischen der Schweiz und der EU eine etablierte Kooperation. Die Schweiz engagiert sich in zahlreichen Regionen der Welt, so etwa auf dem Westbalkan oder in Afrika, gemeinsam mit der EU für Berufsbildung, Gesundheitssysteme, demokratische Regierungsführung und zahlreiche weitere Anliegen. In verschiedenen Kontexten stimmen die Schweiz und die EU - Mitgliedstaaten ihre Projektplanung untereinander ab, um Duplikationen vorzubeugen und die Entwicklungszusammenarbeit effektiver zu gestalten. Weiter wird die Schweiz als Partnerin in fragilen Kontexten geschätzt, in denen sie – teilweise im Gegensatz zu EU - Mitgliedstaaten – vor Ort...</code>
  <code>##tati rimandati. La pandemia e la sua gestione hanno continuato a essere oggetto di molteplici discussioni. Pur essendo unanimi sui principi di solidarietà e di cooperazione internazionale nella lotta contro la pandemia, i Paesi membri dell ’ ONU sono divisi da un profondo fossato su una serie di questioni riguardanti le misure concrete da adottare per migliorare l ’ accesso ai vaccini per tutti, la tutela dei brevetti o l ’ indebitamento degli Stati in seguito alla pandemia. L ’ aggressione militare della Russia contro l ’ Ucraina impegna molto l ’ ONU e influenza in maniera determinante la cooperazione multilaterale. Anche in questo contesto, la Svizzera si è impegnata per la gestione delle molteplici conseguenze del conflitto armato, in Ucraina ma anche in altri Stati. Il nostro Paese si è adoperato per consentire all ’ ONU di continuare a svolgere il suo ruolo di piattaforma di dialogo universale per la discussione dei problemi e delle sfide globali. In questo ambito, la Svizzera ...</code>	<code>inasprite più volte nel corso dell ’ anno. Queste stesse misure sono state adottate da altri mentre gli Stati Uniti, il Canada, il Giappone, la Corea del Sud, Singapore, l ’ Australia, la Nuova Zelanda e Taiwan hanno emanato le proprie sanzioni. All ’ interno dell ’ UE, gli Stati dell ’ Europa orientale hanno guadagnato rilievo, e l ’ Ucraina, la Moldova e Alla politica di allargamento viene nuovamente riconosciuto maggiore peso all ’ interno del contesto strategico. L ’ Ucraina viene ampiamente sostenuta dal punto di vista umanitario, finanziario e politico, ma anche con armi ; l ’ UE ha prospettato di continuare il sostegno « as long as it takes ». Per il 2023 si prevedono aiuti finanziari di Per quanto riguarda la ricostruzione, che sarà un compito che impegnerà un ’ intera generazione, con la Ukraine Recovery Conference di luglio la Svizzera e l ’ Ucraina hanno avviato un processo basato su un ampio consenso. I « principi di Lugano » sono un ’ importante base per i lavori preparato...</code>	<code>##mmen über die internationale Beförderung von gefährlichen Gütern auf Binnenwasserstrassen ( ADN ) in seiner jeweils geltenden Fassung. Die Definition der Wasserstrasse fehlt im ursprünglichen CLNI 1988. Als Wasserstrasse gilt jedes Binnengewässer, einschliesslich jedes Sees. Art. 2 Der Beschränkung unterliegende Ansprüche Art. 2 bleibt weitgehend deckungsgleich mit demjenigen des CLNI 1988. Einzig die nicht abschliessende Aufzählung in Abs. 1 Bst. a wurde um den Begriff „ Wehre “ ergänzt, da dieser Ausdruck nicht zwingend vom Ausdruck „ Schleuse “ mitumfasst wird. Art. 3 Von der Beschränkung ausgenommene Ansprüche Art. 3 Bst. a enthält eine Erweiterung der ausgenommenen Ansprüche auf Sondervergütungen wegen Bergungsmassnahmen für ein Schiff, das selbst oder aufgrund seiner Ladung Umweltschäden zu verursachen droht. Der Grund der Anpassung ist das Internationale Übereinkommen von 1989 über die Bergung Dessen Art. 30 Abs. 1 Bst. a sieht die Möglichkeit vor, das Übereinkommen nicht auf ...</code>

• Loss: <code>TripletLoss</code> with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 5
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

</details>

Training Logs

Framework Versions

• Python: 3.11.7
• Sentence Transformers: 4.1.0
• Transformers: 4.46.3
• PyTorch: 2.5.1+cpu
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->