robert-retriever

SentenceTransformer based on readerbench/RoBERT-large

This is a sentence-transformers model finetuned from readerbench/RoBERT-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: readerbench/RoBERT-large <!-- at revision 9f2fc51ef80ff16fbf03ce3e940364be87f0e9a2 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("alina0195/robert-retriever")
# Run inference
sentences = [
    'La ce folosește testarea genotipică a microsateliților?',
    'Genotiparea micro-satelitilor se referă la genotiparea repetitiilor tandem, precum repetitiile scurte în tandem (STR) sau repetitiile nucleotidice variabile în tandem (VNTR), care sunt loci de ADN polimorfice prezente pe tot genomul. Genotiparea micro-satelitilor este un instrument larg acceptat pentru o varietate de aplicații, inclusiv studii de cartografiere a legaturilor, studii de asociere și identificarea organismelor. Chimia cu cinci coloranți a companiei Applied Biosystems crește numărul de markeri micro-satelit pe care îi poate procesa un singur capilar, permițând o productivitate sporită. Figura 1 prezintă un exemplu de 18 loci micro-satelit co-electroforezați într-un singur capilar. Chimia cu cinci coloranți a companiei Applied Biosystems crește numărul de markeri micro-satelit pe care îi poate procesa un singur capilar, permițând o productivitate sporită. Figura 1 prezintă un exemplu de 18 loci micro-satelit co-electroforezați într-un singur capilar.',
    'Microsateliții sunt adesea numiți repetiții tandem scurte (STR) de către geneticații medico-legiști sau repetiții de secvență simple (SSR) de către geneticații de plante. Aceștia sunt folosiți pe scară largă pentru profilarea ADN-ului în analiza de rudenie și identificarea medico-legală. Microsatelitul este o secvență de ADN repetitiv în care anumite motive de ADN (cu o lungime cuprinsă între 2 și 5 perechi de baze) sunt repetate de obicei de 5-50 de ori.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7074, 0.6925],
#         [0.7074, 1.0000, 0.6709],
#         [0.6925, 0.6709, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Dataset: msmarco-ro-dev
• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 11,661,069 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 5 tokens</li><li>mean: 12.14 tokens</li><li>max: 68 tokens</li></ul>	<ul><li>min: 20 tokens</li><li>mean: 96.27 tokens</li><li>max: 489 tokens</li></ul>	<ul><li>min: 25 tokens</li><li>mean: 97.06 tokens</li><li>max: 249 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Adresa ipotecii bancare americane</code>	<code>US BANK HOME MORTGAGE se află în comitatul Daviess, la adresa 4801 Frederica St., Owensboro, KY 42301-7441. Ne puteți contacta la numărul de telefon (270) 689-7000.</code>	<code>Sucursala Pueblo a U.S. Bank este una dintre cele 3086 de sucursale ale băncii și deservește nevoile financiare ale clienților din Pueblo, comitatul Pueblo, Colorado de peste 45 de ani. Sucursala Pueblo se află la adresa 3330 North Elizabeth Street, Pueblo. De asemenea, puteți contacta banca sunând la numărul de telefon al sucursalei, care este 719-543-6257. Sucursala Pueblo a U.S. Bank operează ca un birou cu servicii complete. Pentru programul de lucru al biroului, programul de servicii drive-through și serviciile bancare online, vă rugăm să vizitați site-ul oficial al ...</code>
  <code>Ce sunt benzile de respirație Colgate?</code>	<code>Ingrijire dentară. Sunteți în căutarea unui plus de albire a dinților? Pasta de dinți Colgate MaxWhite cu Mini-Bright Strips este o pastă de dinți pe care ar fi bine să o luați în considerare dacă vreți să vă albiți zâmbetul prin îndepărtarea petelor de cafea, ceai, tutun sau alți factori de pătare externi.</code>	<code>Colgate are o nouă pastă de dinți spumantă. Pun pariu că are o concentrație mare de SLS pentru a produce spumă. Am folosit-o și acum am o rană persistentă pe vârful limbii. Am crezut că mănânc prea multe dulciuri, dar voi încerca să elimin această nouă pastă de dinți.</code>
  <code>Definiția grupului Michelin</code>	<code>Michelin, liderul în producția de anvelope, se dedică sporirii mobilității clienților în mod sustenabil; proiectarea și distribuirea anvelopelor, serviciilor și soluțiilor cele mai potrivite pentru nevoile clienților; furnizarea de servicii digitale, hărți și ghiduri care să contribuie la îmbogățirea excursiilor și a călătoriei, transformându-le în experiențe unice; dezvoltarea de materiale de înaltă tehnologie, care să deserbească industria mobilității.</code>	<code>Aceste stele sunt râvnite, deoarece marea majoritate a restaurantelor nu primesc nicio stea. De exemplu, ghidul Michelin pentru Chicago pe 2014 include aproape 500 de restaurante. Un singur restaurant a primit trei stele, patru restaurante au primit două stele, iar 20 de restaurante au primit o stea. Michelin nu folosește recenzii ale clienților pentru a determina clasamentul restaurantelor. Stelele Michelin sunt acordate de la 0 la 3 stele, în funcție de recenzii anonime. Recenzorii se concentrează pe calitate, măiestrie tehnică, personalitate și consecvență în ceea ce privește mâncarea.</code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,000 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 4 tokens</li><li>mean: 11.91 tokens</li><li>max: 33 tokens</li></ul>	<ul><li>min: 17 tokens</li><li>mean: 96.57 tokens</li><li>max: 258 tokens</li></ul>	<ul><li>min: 21 tokens</li><li>mean: 94.78 tokens</li><li>max: 371 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Cine a scris cântecul „Remember When” de Alan Jackson?</code>	<code>„Remember When (cântecul lui Alan Jackson)” este o melodie compusă și înregistrată de artistul american de muzică country Alan Jackson. Lansată în octombrie 2003 ca al doilea și ultimul single de pe albumul său de compilații, Greatest Hits Volume II, a petrecut două săptămâni pe locul 1 în topul Billboard Hot Country Songs din SUA în februarie 2004 și a atins apogeul la locul 29 în topul Billboard Hot 100.</code>	<code>Cântecul a fost compus de Bill Mack. Mack a compus cântecul 30 de ani mai devreme pentru a fi înregistrat de Patsy Cline, însă aceasta a decedat într-un accident de avion înainte să înregistreze cântecul.</code>
  <code>sinonim simultan al concurentului</code>	<code>concomitent (adjectiv) co-activ, coincident, combinat, concert, cooperant, sincron, sinergic, unit. simultan (adjectiv) însoțitor, coeval, concomitent, contemporan, simultan. Alte sinonime: accesoriu, accidental, accidental,</code>	<code>care au loc concomitent; care coincid în timp; contemporane; simultane. 2. care se desfășoară cu aceeași viteză și exact împreună; care se repetă împreună. 3. Fizică, electricitate. care au aceeași frecvență și o diferență de fază nulă.</code>
  <code>Comisioanele pentru cardurile de debit Visa NatWest în străinătate</code>	<code>Consulteți ghidul nostru de cheltuire în străinătate pentru a afla care sunt cele mai bune opțiuni. Începând cu 1 iunie, clienții care folosesc cardurile de debit NatWest sau RBS în străinătate vor plăti 2,75% din valoarea tranzacției sau 1%, oricare dintre acestea este mai mare. În prezent, clienții plătesc o taxă de 1,25%, plus 2,75% din valoarea tranzacției de fiecare dată când fac plăți în străinătate.</code>	<code>1 Taxa de autorizare - Dacă cererea dumneavoastră este aprobată și primiți autorizația de a călători în Statele Unite în cadrul Programului de renunțare la viză, o taxă suplimentară de 10,00 USD va fi percepută pe cardul dumneavoastră de credit.</code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 32
• learning_rate: 8e-05
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• dataloader_persistent_workers: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 32
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 8e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: True
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.1.1
• Transformers: 4.56.2
• PyTorch: 2.9.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->