mle5_parl_contrastive

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("aimarsg/mle5_parl_contrastive")
# Run inference
sentences = [
    'Zein da Eusko Jaurlaritzaren plana itsas ingurumena babesteko?',
    '[TOPIC: Galdera, Muriel Larrea Laso Euskal Talde PopularraCiudadanos taldeko legebiltzarkideak Ekonomiaren Garapen, Jasangarritasun eta Ingurumeneko sailburuari egina, gure kostaldean itsas ingurumena babesteari buruz]\n[LARREA LASO, (PV-ETP)]:\nEgun on. Eskerrik asko, presidente andrea. Sailburu andrea, konturatuko zinen gertutik jarraitzen ditugula arestian itsas ingurumena zaintzeko eman diren aurrerapausoak. Horri buruz galdetu nizun azken aldian; zuk erantzun zenidan Ingurumen Sailak plastikoak eta hondakinak biltzeko zerabiltzan planak azalduz. Eta adibide bat jarriko dizut; izan ere, duela hilabete batzuk, Urumea ibaiko zaborra jaso behar izan zuena Donostiako Udaleko brigada izan zen, udal-brigada. Gaur beste zerbaiti buruz hitz egin nahi (Date: 20.05.2022)',
    'Zera dio: "Eusko Jaurlaritzari eskatzen zaio bultza dezala Estatuko Administrazio Orokorraren aurrean eremua babesteko beharrezko diren ekintzak gauzatzea"; baina ekintza horiek ez dira zehazten, jakinik',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6245, 0.2563],
#         [0.6245, 1.0000, 0.0706],
#         [0.2563, 0.0706, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Dataset: multilingual-e5-large
• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 8,700 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 11 tokens</li><li>mean: 25.94 tokens</li><li>max: 64 tokens</li></ul>	<ul><li>min: 147 tokens</li><li>mean: 207.39 tokens</li><li>max: 306 tokens</li></ul>

• Samples:

  anchor	positive
  <code>Zergatik ez zuen alde bozkatu EH Bilduk Lanbiden aztarna digitala ezartzeari buruzko proposamenean?</code>	<code>[TOPIC: Euskal Legebiltzar Talde Popularrak egindako legez besteko proposamena, Lanbiden aztarna digitala ezartzeari buruz. Eztabaida eta behin betiko ebazpena]<br>[BLANCO DE ANGULO, (EH Bildu)]:<br>erabili du hauteskunde-kanpaina egiteko, eta horretarako, beti egin ohi duen bezala, gizarte-eskubideak lokaztu ditu. Lehen, beste bozeramaile batek esan du pertsona batzuk sistematik at gelditzen direla. Noski! Nola hurbilduko da, bada, jendea Lanbidera, nola hurbilduko da, bada, oinarrizko gizarte-zerbitzu batera, gurutze batez markatzen badiote kopeta! Nola, bada, kalean entzuten ari diren guztia kontuan izanda! Hori ari zara lortzen. Horregatik, begi-bistakoa denez, gaur ez dugu alde bozkatuko, ez (Date: 30.04.2015)</code>
  <code>Zein urtetan baztertu zuen Urkullu lehendakariak aurkeztutako aurrekontuen lege-proiektua, babes faltagatik?</code>	<code>[TOPIC: Galdera, Susana Corcuera Leunda Euskal Sozialistak taldeko legebiltzarkideak Ogasun eta Finantzetako sailburuari egina, aurrekontu-luzapenari buruzko legezkotasuna 2013an ez betetzeari buruz]<br>[CORCUERA LEUNDA, (SV-ES)]:<br>Eskerrik asko, presidente andrea. Sailburuok, jaun-andreok, egun on. Sailburu jauna, orain dela astebete jaso genuen Herri Kontuen Euskal Epaitegiak 2013. ekitaldirako egin zuen Euskal Autonomia Erkidegoko Administrazio orokorraren kontuaren fiskalizazio-txostena. Eusko Jaurlaritzak gauzatu zuen 2013ko aurrekontu-ekitaldiaren luzapena fiskalizatzea da kontua, Urkullu lehendakariak baztertu egin behar izan baitzuen 2013. urterako aurkeztu zuen aurrekontuen lege-proiektua, onartua izateko behar besteko babesik lortu ez zuelako, zenbait taldek, besteak beste Talde (Date: 26.06.2015)</code>
  <code>Zein da Euskal Autonomia Erkidegoko Kultura Ondarearen Kontseiluaren osaera, antolamendua, funtzionamendua eta zereginen inguruan Eusko Jaurlaritzak dituen irizpideak?</code>	<code>[TOPIC: Mozioa, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak aurkeztua, Eusko Jaurlaritzak Kultura Ondarearen Euskal Autonomia Erkidegoko Kontseiluaren osaerari, antolamenduari, funtzionamenduari eta zereginei dagokienez dituen irizpideen inguruan. Eztabaida eta behin betiko ebazpena]<br>[BARRIO BAROJA, (PV-ETP)]:<br>konbentzitzen erraza izan zen, Estarrona jaunaren zuzenketa zela eta. Jakina, Gobernuak ezetz proposatzen dio: "ez dugu hori lege honetan erregulatuko; egin dezala Gobernuak nahi duenean, diskrezionalki". Bada, noski izan zela konbentzitzen erraza. Inoiz ez dut ikusi zuzenketarik..., tira, Gobernuari sostengua ematen dioten legebiltzarkideek argiago onartzen zutenik, jakinik hura onartu egin behar zela bai ala bai. Laugarren artikuluaren eztabaida beheratu egin zen ponentzian, eta Gobernuari uzten zitzaion (Date: 06.02.2020)</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 8,706 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 11 tokens</li><li>mean: 26.11 tokens</li><li>max: 78 tokens</li></ul>	<ul><li>min: 143 tokens</li><li>mean: 206.86 tokens</li><li>max: 269 tokens</li></ul>	<ul><li>min: 2 tokens</li><li>mean: 104.9 tokens</li><li>max: 268 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Zein da Euskal Hezkuntza Sistemaren etorkizunari buruzko hitzarmenaren oinarriak zehazteko ponentziaren helburua?</code>	<code>[TOPIC: Txostena, etorkizuneko euskal hezkuntza-sistemari buruzko hitzarmenaren oinarriak zehazteko ponentziak egindakoa. Eztabaida eta behin betiko ebazpena]<br>[GORROTXATEGI AZURMENDI, (EP-IU)]:<br>egitea. Dena dela, esan bezala, lehenik, etorkizunari begira jarri behar dugu gaur. Etorkizuna da orain kontuan hartu behar duguna; eta etorkizunean, halaber, eskerrak eman nahiko nizkizueke, fio naizelako arestian aipatu ditudan eragile guztiak, gainerako alderdi politikoak ere, bere interes propioak albo batera utzi eta interes orokorraren alde egiteko gai izango direla. Baita sailari ere, erdietsi ditugun akordioak, bestelako presiorik gabe, lantzeko gai eta arduradun izango delakoan. Betiere gizarte-mugimenduen eta (Date: 07.04.2022)</code>	<code>Honezkero ia urte eta erdia pasatu da hezkuntza-sistemaren oinarriak ezartzeko ponentzia eratu zela.</code>
  <code>Zein da Martínez Hierroren iritzia errelato partekatu bat eraikitzeari buruz Euskal Herrian?</code>	<code>[TOPIC: Lehenbailehen eztabaidatzeko Euzko Abertzaleak eta Euskal Sozialistak talde parlamentarioek egindako legez besteko proposamena, ETAren armagabetzeari buruz. Eztabaida eta behin betiko ebazpena]<br>[MARTÍNEZ HIERRO, (EP)]:<br>aurrera, egia da etorkizunera begiratu behar dela iragana ahaztu gabe, biolentzia deslegitimatuz, eta, baita ere, errelato bat ireki nahi badugu, errelato partekatu bat eraikitzea, eta errelato partekatu hori izatea oinarri bezala biolentzia honen deslegitimazioa. Eta lehen esan dudan bezala, ez bakarrik biolentzia zuzena edo armek sortu duten biolentzia, baizik eta, baita ere, oraindik gizartean badaukagun hainbat biolentzia forma ezberdin, biolentzia kulturala eta herri honetan oraindik instalatuta dauden hainbat gauza. (Date: 06.04.2017)</code>	<code>Badakit, Martínez jauna, gogorra da. Baina aitor ezazu, hausnar ezazue. Aukera duzue Legebiltzar honetan egiteko, baina ez zaitez etorri argudio-zerrendarekin halakoari buruz...</code>
  <code>Zein da Ertzaintzaren hasierako prestakuntzaren iraupena polizia-prozedurei eta autobabesari dagokionez?</code>	<code>[TOPIC: Galdera, Miren Gallastegui Oyarzábal Euskal Sozialistak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Ertzaintzaren aurkako agresioak ekiditeko Segurtasun Sailak hartu beharreko neurriei buruz]<br>[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:<br>Eskerrik asko, presidente andrea. Legebiltzarkideok, egun on berriro ere. Gallastegui andrea, segurtasun-neurriei buruz agerikoak diren gauza batzuk gogorarazi behar dizkizut: adibidez, ertzain guztiek hasieran prestakuntza handia jasotzen dutela polizia-prozedurei eta autobabesari buruz. Bederatzi hilabete akademian eta beste hainbeste polizia-unitateetan praktikak egiten. Hasierako prestakuntza hori sakondu eta zabaldu egiten da gero, ertzainen karreran zehar, eguneratze-ikastaroekin, birziklatze-ikastaroekin, espezializazio-ikastaroekin... Baina, era berean, garrantzitsuak dira oso ekintza (Date: 13.03.2015)</code>	<code>Gainera, prestakuntza berria jasotzen ari dira autobabeseko polizia-taktika eta -tekniketan, kriminalitate eta terrorismo mota berri hauei aurre egiteko polizia-taktika eta -tekniketan.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• learning_rate: 2e-05
• warmup_ratio: 0.1
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• Python: 3.10.8
• Sentence Transformers: 5.1.0
• Transformers: 4.56.0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->