bernat_berria_contrastive

SentenceTransformer based on HiTZ/BERnaT_base

This is a sentence-transformers model finetuned from HiTZ/BERnaT_base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: HiTZ/BERnaT_base <!-- at revision 3a3213f0541d3e81acaa719636d78c261080fb29 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("aimarsg/bernat_berria_contrastive")
# Run inference
sentences = [
    'Nola lotzen dira longterminismoa eta transhumanismoa korronte ideologiko gisa?',
    'Gaur egungo gizarteko supergaizkileak diren bilionarioak dira honen guztiaren bultzatzaile nagusietakoak, eraginkortasun honen helburu den longterminism edo epeluzerismoa bezala itzuli genezakeenarekin lotuta. Badakizu mundua pikutara bidaltzen ari diren bitartean nortzuk ari diren beraien burua salbatzeko ahalegin handiena egiten. Hauen hitzetan, ez da guztia desagertuko delako, noski ezetz, gizateria izan daitekeenaren potentziala gauzatzeko baizik. Eta epe luzeak eskaintzen duen potentzialaren izenean oso gauza arriskutsuak egin daitezke. Esaterako, orain eta hemen kaltetuak direnei erreparatzeari uztea. Epe luzeari begiratzen badiogu, Gazako gerrak ez duelako gizakiarentzat arrisku existentzialik suposatzen, adibidez. Horregatik gizatasun, etika edo sentimenduetan oinarritutako kausetan denbora galdu beharrean, eragin zabal bat duten horietara zuzendu beharko genuke gure indarra. Arrazoinamendu honetatik gizakiaren potentziala betetzen dela bermatzen duen eugenesiara ez dago ezer. Nick Bostrom filosofoak aipatzen dituen gure emozioak kontrolatzea ahalbidetuko duten aldaketa genetikoetara edo Elon Musk-ek bultzaturiko burmuinean egindako inplanteetara ere ez. Potentziala transhumanoa da. Aseguru etxeen algoritmoak onartuko duen bioingeniaritzarena. Gorputza eta espazioa konkistatu ahal izango duen kapitalarena. Ez da sentimentala. Eta ez da gurea.\n\nKorronte honek guztiak gizakiaren intuizio eta emozioen kontra egiten du epe luzeko teorian baina epe motzeko praktika beste zerbait izaten ari da. Azkenaldian ikusi ditugu, Estatu Batuetan eta Argentinan adibidez, (asmatutako) datuak eskutan, koadratzen ez dien ezer erraietatik ezabatzeko prest. Beharrezkoa den eraginkortasun objektibo bezala aurkeztuz murrizketa emozionala besterik ez dena.',
    'Kontzeptu hori, aldez edo moldez, toki askotatik ari dira azpimarratzen, Zuberogoitiaren aburuz; esate baterako, «ekologia sakonetik biologiaren korronte garaikide batzuetatik, feminismotik edota fisika',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4317, 0.3214],
#         [0.4317, 1.0000, 0.2662],
#         [0.3214, 0.2662, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Dataset: multilingual-e5-large
• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 55,314 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 15.36 tokens</li><li>max: 34 tokens</li></ul>	<ul><li>min: 67 tokens</li><li>mean: 293.47 tokens</li><li>max: 439 tokens</li></ul>

• Samples:

  anchor	positive
  <code>Zergatik dio artikuluaren izenburuak "Ez gaude hemen"?</code>	<code>Ez gaude hemen<br><br>Goizeko kafesnea zerbitzatzen dizunak ea asteburuko pilota partida ikusi zenuten galdetu dizu, gogorra izan zela, berak ez zuela faboritorik, ea zurea zein zen. Beti ematen du hizketarako gogoa duela, baina gaur bere alabak lehengo kimio saioa du. Ez da ari pilota partidan pentsatzen. Zure lankide apaina orain arte ikusi ez diozun arropa koloretsu batekin etorri da, ilea ondulatua, hortzak zuri. Nola egiten du? Liburu bat atera du poltsatik. «Zuretzako». Asteburuan irakurri duela, gustatu zaiola, eta nirekin gogoratu dela. Nola egiten du? Atzo bere lagun baten nebaz esan ziotena darabil buruan. Esan egin behar lioke? Badagokio? Eta egia bada? Gaua lorik egin gabe pasatu du, zuri eman dizun liburua irakurtzen. Pilateseko irakaslearentzat gaur, apirilak 1, lehenengo aldiz larrua jo zuen eguna da. Laranjak oso onak daudela esan dizun dendariak Adolescence telesailean beste ezertan ezin du pentsatu. «Zer moduz eguna?» whatsappez galdetu dizun lagunak inoizko haserre handien...</code>
  <code>Zein dira LABen proposamenak industria trantsiziorako plangintzei dagokienez?</code>	<code>Hori jakinda, LABek «bizitza kapitalaren gainetik» jarri behar dela aldarrikatu du, eta «sistema kapitalista heteropatriarkal, arrazista eta biozida gainditzeko» proposamen sorta bat egin du, zazpi ataletan zatituta.<br><br>1<br><br>Industria trantsiziorako plangintzak<br><br>Enpresen plan estrategikoak negoziazio kolektiboaren menpe jartzea nahi du, eta, hortaz, enpresa batzordeetan eztabaidatzea eta bozkatzea, eta batzordeek horri buruzko beto ahalmena izatea.<br><br>2<br><br>Diru publikoaren erabilera<br><br>LABen arabera, energia trantsiziorako jarritako diru publikoa ezin da mugatu ekimen pribatua laguntzera. Uste duenez, erakundeek zuzenean inplikatu behar dute jabetza publikoko proiektuen garapenean, eta krisian dauden enpresa industrialak erosi behar dituzte. Gainera, dirua jasotzen duten enpresek derrigortuta egon beharko lukete hamar urtez ez ixtera eta inor ez kanporatzera. «Itxierak, kaleratzeak edo murrizketak egin dituzten enpresek laguntza publikoen lehiaketetatik kanpo geratu behar dute, eta diru laguntza...</code>
  <code>Zenbat pakete inportatu zituen Europako Batasunak joan den urtean?</code>	<code>Pakete txikien zama handia<br><br>Donald Trumpek abiarazitako merkataritza gerraren azpian badago beste merkataritza gerra bat, AEB Ameriketako Estatu Batuak eta EB Europako Batasuna, neurri txikiagoan bada ere, aspaldian irabazi ezinda dabiltzana: balio gutxiko salgaien inportazio neurrigabeena. Bereziki Txinatik datozen produktu horiek ez dute muga zergarik ordaintzen, eta Temu, Shein, Alibaba eta merkataritza elektronikoko beste plataforma handiek salbuespen hori baliatu dute azken urteetan negozioa handitzeko. AEBetan, 800 dolarretik beherako paketeei aplikatzen zaie salbuespena; EBn, aldiz, 150 euro baino gutxiagokoei.<br><br>Bruselak salbuespena amaitzea proposatu die EBko herrialdeei. Europako Batzordeak proposatu du paketeei tasa bat kobratzen hastea, eta, horretarako, lege aldaketa hastea galdegin die Europako Parlamentuari eta Europako Kontseiluari. Zera proposatu du: pakete bakoitzeko bi euroko tasa ordainaraztea produktua norbanako batek erosten duenean zuzenean, eta 50 zentimokoa hand...</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 55,324 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 15.31 tokens</li><li>max: 30 tokens</li></ul>	<ul><li>min: 73 tokens</li><li>mean: 293.29 tokens</li><li>max: 418 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 140.17 tokens</li><li>max: 411 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Zein da Kanarietako lorratz ekologikoa munduko batez bestekoarekin alderatuta?</code>	<code>Auzoen lapurreta<br><br>Etxebizitzari dagokionez, pisu turistikoen galgarik gabeko hazkundeak larriagotu du egoera. Mota horretako 53.938 etxebizitza daude orain uhartedian, 2022ko azaroan baino %39,7 gehiago. Dena den, gobernuak argitaratu du horiek erregulatzeko lege proiektu bat, adituen arabera, negozio horrekin amaitzeko balioko duena.<br><br>Bizileku turistiko asko orain arte bertakoenak izan diren tokietan daude. Reyesen iritziz, mobilizatzeko arrazoi nagusietako bat da hori. Auzoak eta eremu naturalak lapurtu nahi dizkietela diote kanariar askok. Hernandezek sakondu du gaian, eta sakelakoek eragindako aldaketak nabarmendu ditu: «Pandemia osteko turistak gehiago mugitzen dira; gure auzoetan topatzen ditugu orain, gure jatetxeetan, gure txoko sekretuetan». Sare sozialei esker aurkitzen dituzte leku horiek.<br><br>Etxebizitzaren inguruko aldarrikapenak Kanaria Handiko Las Palmas hirian, apirilaren 20an egindako manifestazioan. QUIQUE CURBELO / EFE<br><br>Ekologistak Martxan-eko kideak, ezinbestean, hizpi...</code>	<code>Pradalesek arreta berezia jarri zuen gazteengan eta etxebizitza politikan. Onartu zuen etxebizitzarena «erronka handietako bat» dela gaur egun, eta, horregatik, iragarri zuen emantzipazioa errazteko eta erronka demografikoari aurre egiteko hainbat neurri hartuko dituela. Horien artean daude, besteak beste, alokairu sozialerako 7.000 etxebizitza eraikitzea eta aitatasun eta amatasun baimenak luzatzea.<br><br>Ekonomiaren alorrean, iragarri zuen 2028rako industria plan bat osatuko duela, eta trantsizio energetikoa eta deskarbonizazioa sustatzeko erraztasunak emango dituela. Bizikidetzaren alorrean, «zoru etikoa» onartzeko beharra aldarrikatu zuen, zeinak «giza eskubideen urraketen biktima guztiak» aintzat hartuko dituen. Euskarari dagokionez, berriz, ezagutza eta erabilera sustatzeko beharra aipatu zuen, doakotasuna oinarri gisa hartuta. Urkulluri eskerrak emanez amaitu zuen hitzaldia, eta hark egindako lanari aitortza eginez.<br><br>Lurzoru partekatua<br><br>Otxandianok etorkizuneko herri proiektu parteka...</code>
  <code>Zein da Ukrainako presidente Zelenskiren onarpen maila ukrainarren artean?</code>	<code>Aurreko hilabeteetan, baina, AEBetako presidente Donald Trumpek ere iradoki izan du Ukrainan hauteskundeak egiteko garaia dela, eta Zelenski «diktadoretzat» jo izan du sare sozialetan. Gainera, otsailaren 19an emandako prentsaurreko batean, Etxe Zuriko maizterrak ziurtatu zuen Zelenskik ez duela ukrainarren babesik. «Nahiago nuke esan behar ez izatea, baina %4ko onarpen maila baino ez dauka», adierazi zuen. Ez zuen argitu datu hori zer iturritatik atera zuen. Azken inkestek bestelako joera bat erakusten dute: Kieveko Nazioarteko Soziologia Institutuak atzo argitaratutako inkesta baten arabera, Ukrainako herritarren %69k dute konfiantza egungo presidentearengan.<br><br>Trumpek presidente kargua hartu aurretik ziurtatu zuen Etxe Zurira iritsi bezain laster amaiaraziko zuela Ukrainako gerra. Putinen ustez, Trumpek «benetan» nahi du Ukrainako gerra amaitu, eta, atzo azaldu zuenez, horregatik hitz egin du harekin hainbatetan. AEBetako presidenteak, ordea, oraingoz ez du lortu hori, baina Washingt...</code>	<code>Ukrainako presidente Volodimir Zelenskirentzat, «baldintzarik gabeko menia bat» lortzea da lehentasuna, eta, haren hitzetan, hori bera izango da biharko Londresko bilkuraren xedea.</code>
  <code>Zein dira Frantziako Gobernuaren politikak aberastasunaren banaketari dagokionez, sindikatuen iritziz?</code>	<code>Dominique Pons CGT sindikatuko ordezkariak garrantzia kendu zion LABen presentziari, azpimarratuta lehenago ere elkarrekin mobilizatu izan direla, baina Eñaut Aramendi sindikatu abertzaleko kideak baieztatu zuen segregazio sindikalik gabe iragaten den lehen mobilizazioa dela: «Egia da iazkoa egoera oso konplikatua izan zela [erretreten erreformaren kontrako protestetatik kanpo utzi zuten LAB]. Aurten lortu dugu Maiatzaren Lehena gehiengo sindikal batean antolatzen. Sindikatu batzuk baizik ez dira eskas; haiek esplikatu beharko dute zer interes duten Maiatzaren Lehenean ez mobilizatzeko». Besteak beste, FO sindikatuak ez du parte hartu nahi izan, baina bai CFDT, CGT, LAB, FSU-Snuipp, Solidaires eta UNSA sindikatuek, beste hainbat eragile politiko eta sozialekin batera.<br><br>LABen bandera batu zitzaien lehen aldiz CGT, CFDT, FSU, UNSA eta Solidaires sindikatuetakoei, Baionan. PATXI BELTZAIZ<br><br>Bukaeran irakurritako agiri bateratuan «bestelako aberastasunen banaketa» aldarrikatu zuten. «Hemen g...</code>	<code>Hala ere, Jon Hernandez legebiltzarkidearen iritziz, ezinbestekoa da aberastasunaren sorrerari erreparatu ordez haren banaketari behatzea.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• learning_rate: 2e-05
• warmup_ratio: 0.1
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.10.8
• Sentence Transformers: 5.1.0
• Transformers: 4.56.0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->