bge-m3-ro-msmarco-v2

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the ro-msmarco-divided dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • ro-msmarco-divided

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("alina0195/bge-m3-ro-msmarco-v2")
# Run inference
sentences = [
    'Cine a fost John Andre?',
    'Cazul unui faimos trădător american văzut de către handlerul său. JOHN ANDRE, OFITER DE CAZ. Robert Amory, Jr. În mai 1779, cu doi ani și jumătate înainte de victoria decisivă de la Yorktown, cauza continentală era într-o stare precară.',
    'Andre Meadows (născut pe 25 octombrie 1978), este un YouTuber cunoscut mai ales pentru vlogurile, diatribele, recenziile și comediile sale despre orice are legătură cu nostalgia, cum ar fi jocurile video sau filmele clasice. S-a alăturat platformei YouTube pe 10 iulie 2007. Intros video. Meadows are multe introduceri video. Toate sunt folosite în funcție de subiectul videoclipului. Bună, eu sunt Andre și sunt un Nerd de culoare! - Introducerea lui neutră. Bună, eu sunt Andre și sunt un Nerd de culoare și sunt furios! AAAAGGGGGGHHHHH! Diatribele unui Nerd de culoare! - Introducerea lui pentru videoclipurile de diatribă. Bună, eu sunt Andre și sunt un Nerd de culoare cu o recenzie pentru TINE! Recenzile unui Nerd de culoare! - Introducerea lui pentru videoclipurile de recenzie. Bună, eu sunt Andre și sunt un Nerd de culoare cu o altă recenzie pentru Teenage Mutant Ninja Turtles!',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4323, 0.4008],
#         [0.4323, 1.0000, 0.1556],
#         [0.4008, 0.1556, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Datasets: ro-msmarco-dev and ro-msmarco-dev-nodiac
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

ro-msmarco-divided

• Dataset: ro-msmarco-divided at d2448c2
• Size: 402,871 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 4 tokens</li><li>mean: 12.35 tokens</li><li>max: 38 tokens</li></ul>	<ul><li>min: 20 tokens</li><li>mean: 99.75 tokens</li><li>max: 332 tokens</li></ul>	<ul><li>min: 20 tokens</li><li>mean: 99.81 tokens</li><li>max: 398 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Ce încarcă bateria unei mașini de tuns iarba?</code>	<code>Cum se încarcă bateria tractorului de 12 volți în mod corespunzător? Important: Când încărcați bateria tractorului, folosiți un încărcător proiectat pentru baterii cu plumb-acid de 12 volți. Cititi manualul de utilizare al încărcătorului de baterii înainte de a încărca bateria tractorului. Urmați întotdeauna instrucțiunile și respectați avertismentele. Dacă tractorul nu a fost folosit pentru o perioadă lungă de timp, încărcați bateria după cum urmează: Setați încărcătorul de baterii să nu furnizeze mai mult de un curent de maxim 6 amperi.</code>	<code>O mașină de tuns iarba pe baterii poate tăia iarba groasă, dar pune o mulțime de stres pe baterie și pe motorul electric. Bateriile se vor descărca repede sub o astfel de sarcină, iar bateriile cu ioni de litiu se pot încălzi, cauzând oprirea temporară a circuitului electric al bateriei pentru a o proteja.</code>
  <code>Cât costă un nou sistem septic în Massachusetts?</code>	<code>Povara financiară pe care o creează un sistem septic defect poate fi considerabilă pentru majoritatea oamenilor. Costul instalării unui nou sistem septic care respectă reglementările din titlul 5 poate varia între 10.000 și 50.000 de dolari sau mai mult, în funcție de condițiile solului, nivelul apelor subterane și dacă se întâlnește un strat de rocă. Ultimul lucru pe care îl doriți este o problemă cu sistemul septic! Ca agent imobiliar din Massachusetts, care a fost implicat în numeroase vânzări de case, sunt uimit de faptul că unii vânzători sunt atât de neglijenți în ceea ce privește obținerea unei inspecții în conformitate cu reglementările din titlul 5 înainte de a-și pune casa pe piață.</code>	<code>În majoritatea comitatelor și statelor, instalarea sau înlocuirea unui sistem septic necesită un permis de construire, care costă între 250 și 1000 de dolari sau mai mult, în funcție de locație și de complexitatea proiectului. Pentru detalii, consultați departamentul local de construcții/planificare.</code>
  <code>Numerele de telefon ale companiei MassMutual</code>	<code>Număr de telefon al serviciului de asistență clienți de la MassMutual. Numărul de telefon al serviciului de asistență clienți de la MassMutual este +1 (800) 767-1000 / 413-744-8411 / 1 (800) 272-2216 (faceți clic pe numărul de telefon pentru a suna). data-ad-slot=7829909793> Număr de telefon al serviciului de asistență clienți de la MassMutual. Număr de telefon al serviciului de asistență clienți pentru pensionare de la MassMutual. Număr de telefon de contact al serviciului de asistență clienți pentru pensionare de la MassMutual.</code>	<code>Cine să contactați dacă aveți întrebări. Dacă aveți nevoie să sunați sau să scrieți la CMSP, vă rugăm să folosiți numerele de telefon și adresele de mai jos. Sunați la Serviciul Clienți CMSP la numărul de telefon 1-800-909-2677 pentru: servicii acoperite de CMSP - doar medicale, stomatologice, de optometrie și de sănătate comportamentală. Pentru întrebări privind beneficiile farmaciei, sunați la Serviciul Clienți MassHealth (a se vedea mai jos).</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 16,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 64
• learning_rate: 1e-05
• weight_decay: 0.01
• num_train_epochs: 1.0
• warmup_ratio: 0.05
• bf16: True
• dataloader_drop_last: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.1.1
• Transformers: 4.56.2
• PyTorch: 2.9.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->