finetuned_tdb_paraphrase-multilingual_mpnet_try1

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-mpnet-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2 <!-- at revision 75c57757a97f90ad739aca51fa8bfea0e485a7f2 -->
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("gmunkhtur/finetuned_tdb_paraphrase-multilingual_mpnet_try1")
# Run inference
sentences = [
    'Үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх нь юунд хохирол учруулдаг вэ?',
    'Үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх гэдэг нь Монгол Улсын хууль тогтоомж, олон улсын гэрээгээр хориглосон цөмийн, химийн, биологийн эсвэл үйл олноор хөнөөх бүх төрлийн зэвсгийг үйлдвэрлэх, ашиглах, худалдах, худалдан авахад санхүүгийн дэмжлэг үзүүлэхийг хэлнэ. Үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх нь олон улсын энх тайван, аюулгүй байдал, хүний амь нас, амьдрах орчинд асар их хохирол учруулдаг учраас энэ төрлийн гэмт хэргийг санхүүжүүлж болзошгүй мөнгөн хөрөнгийн шилжилт хөдөлгөөнийг илрүүлж, таслан зогсоох нь банкны хувьд маш чухал юм.\n\n**САНХҮҮГИЙН ГЭМТ ХЭРЭГ ГЭЖ ЮУ ВЭ?**\nЭнэ хэсэгт үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх гэж юу болох, мөн санхүүгийн гэмт хэргийн тухай тодорхойлолтыг оруулсан байна.\n',
    'Тус банк нь Forbes Mongolia Women’s Summit 2022 форумд ерөнхий ивээн тэтгэгчээр ажиллаж, Шотланд улсын Эдинбургийн их сургуулийн оюутнуудтай хамтран "Ногоон" банк болох талаар судалгаа хийсэн. Visa International-тай хамтран ОУ-ын виза карт руу мөнгөн гуйвуулга илгээх Visa Direct болон Visa B2B үйлчилгээнүүдийг Монгол Улсын зах зээлд анхлан нэвтрүүлсэн. Britto Cup - 2022 хөл бөмбөгийн аварга шалгаруулах тэмцээнийг зохион байгуулж, Britto Эйнштэйн картыг зах зээлд нэвтрүүлсэн.\n\nХХБ нь Мооdу’s агентлагаас B2, Standard & Poor’s агентлагаас B+ зэрэглэлтэй бөгөөд хэтийн төлөв нь тогтвортой үнэлгээтэй. Ногоон зээлийн хөтөлбөртөө ОУ-н эдийн засгийн хамтын ажиллагааны банк (IВEC)-с 10 сая ам.долларын санхүүжилт татаж, Visa International байгууллагатай хамтын ажиллагаа эхэлсний 20 жилийн ойг тэмдэглэсэн. ОХУ-н тэргүүний банк болох Газпромбанктай "Хамтын ажиллагааны гэрээ” байгуулж, "Climate 30+ Ногоон Сэргэлтийн Хөтөлбөр”-ийг санаачлан хэрэгжүүлж байна.\nХХБ-ны 2022 оны үйл ажиллагаа, хамтын ажиллагаа, зээлжих зэрэглэл, ногоон хөтөлбөрүүдийн тухай.\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,379 training samples
• Columns: <code>sentence_0</code> and <code>sentence_1</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	<ul><li>min: 8 tokens</li><li>mean: 22.09 tokens</li><li>max: 94 tokens</li></ul>	<ul><li>min: 31 tokens</li><li>mean: 125.54 tokens</li><li>max: 128 tokens</li></ul>

• Samples:

  sentence_0	sentence_1
  <code>Жуниор багц хэдэн насны хүүхдэд зориулагдсан бэ?</code>	<code>20,000₮ -с дээш худалдан авалт бүрд буцаан олголттой бөгөөд сард олгох буцаан олголтын дээд хэмжээ 200,000₮<br><br>Нэмэлт боломжууд:<br><br>* VISA international байгууллагаас улирал тутамд зарлагдаж буй хөнгөлөлтийн талаарх дэлгэрэнгүй мэдээллийг ЭНДдарж авна уу.<br>### Жуниор багц 13-18 нас<br><br>Дараах байгууллагуудын ХХБ-ны пос төхөөрөмж дээр уншуулснаар буцаан олголт эдлэх боломжтой.<br>Кидс багцын хөнгөлөлт урамшууллын жагсаалтын дараа Жуниор багцын хөнгөлөлт урамшуулал эхэлж байна.<br></code>
  <code>Байгууллагын багцуудын давуу талуудад шимтгэл хураамж төлөхгүй байх зэрэг ордог уу?</code>	<code>Монголын Худалдаа Хөгжлийн Банк байгууллагуудад зориулж төлбөр тооцооны үйлчилгээг багцалсан дөрвөн төрлийн багц бүтээгдэхүүн санал болгож байна. Эдгээр багцууд нь санхүүгийн хэрэгцээт үйлчилгээг нэг дор авах, байгууллагын хэрэглээнд тохирсон төрлийг сонгох, санхүүгийн гүйлгээнд зарцуулах цагийг хэмнэх, шимтгэл хураамж төлөхгүй байх зэрэг давуу талуудтай. Мөн санхүүгийн бүртгэл тооцоог хялбаршуулах, цахим банк руу шилжих, гүйлгээг цахимаар зайнаас шийдэх, цахим үйлчилгээг хөнгөлөлттэй нөхцөлөөр авах, санхүүгийн зөвлөх үйлчилгээ авах боломжуудыг олгодог.<br>Энэ хэсэгт байгууллагын багц бүтээгдэхүүний гол санаа, давуу талуудыг тодорхойлсон.<br></code>
  <code>Хүүхдийн багц гэж юу вэ?</code>	<code># Хүүхдийн багц<br>Таны хүүхдийн санхүүгийн хэрэгцээнд тохирсон үйлчилгээг нэг дор багтаасан<br>Хүүхдийн санхүүгийн багцын тухай ерөнхий танилцуулга.<br></code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• max_grad_norm: 0.5
• num_train_epochs: 6
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 0.5
• num_train_epochs: 6
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

</details>

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.2
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->