e5_full_hard_neg

SentenceTransformer based on intfloat/multilingual-e5-large-instruct

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large-instruct <!-- at revision c9e87c786ffac96aeaeb42863276930883923ecb -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: kiểm tra văn bản trước khi ký ban hành văn bản như thế nào?',
    'passage: duyệt bản thảo văn bản\n1. bản thảo văn bản phải do người có thẩm quyền ký văn bản duyệt.\n2. trường hợp bản thảo văn bản đã được phê duyệt nhưng cần sửa chữa, bổ sung thì phải trình người có thẩm quyền ký xem xét, quyết định.\nđiều 12. kiểm tra văn bản trước khi ký ban hành\n1. người đứng đầu đơn vị soạn thảo văn bản phải kiểm tra và chịu trách nhiệm trước người đứng đầu cơ quan, tổ chức và trước pháp luật về nội dung văn bản.\n2. người được giao trách nhiệm kiểm tra thể thức, kỹ thuật trình bày văn bản phải kiểm tra và chịu trách nhiệm trước người đứng đầu cơ quan, tổ chức và trước pháp luật về thể thức, kỹ thuật trình bày văn bản.',
    'passage: duyệt bản thảo văn bản\n1. bản thảo văn bản phải do người có thẩm quyền ký văn bản duyệt.\n2. trường hợp bản thảo văn bản đã được phê duyệt nhưng cần sửa chữa, bổ sung thì phải trình người có thẩm quyền ký xem xét, quyết định.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 916,496 training samples
• Columns: <code>text</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	text	positive	negative
  type	string	string	string
  details	<ul><li>min: 12 tokens</li><li>mean: 27.43 tokens</li><li>max: 45 tokens</li></ul>	<ul><li>min: 23 tokens</li><li>mean: 250.1 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 13 tokens</li><li>mean: 285.27 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  text	positive	negative
  <code>query: người học ngành quản lý khai thác công trình thủy lợi trình độ cao đẳng phải có khả năng học tập và nâng cao trình độ như thế nào?</code>	<code>passage: khả năng học tập, nâng cao trình độ<br>- khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;<br>- người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành, nghề hoặc trong nhóm ngành, nghề hoặc trong cùng lĩnh vực đào tạo./.<br>người học ngành mộc xây dựng và trang trí nội thất trình độ cao đẳng phải có khả năng học tập, nâng cao trình độ như thế sau<br>- khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;<br>- người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi n...</code>	<code>passage: kỹ năng<br>- xác định được vị trí, điều tra, đánh giá tài nguyên nước mặt, nước dưới đất;<br>- chọn đoạn sông đặt trạm quan trắc tài nguyên nước mặt đúng tiêu chuẩn;<br>- thu thập, rà soát thông tin, dữ liệu trước khi thực địa và triển khai công tác điều tra, đánh giá tài nguyên nước mặt, nước dưới đất;<br>- xây dựng được quy hoạch tổng thể điều tra cơ bản tài nguyên nước;<br>- tổng hợp, chỉnh lý, xử lý thông tin, dữ liệu thu thập sau quá trình điều tra thực địa và kết quả điều tra thực địa theo các nội dung đánh giá;<br>- tổ chức tiến hành thi công, quản lý và vận hành các công trình quan trắc tài nguyên nước mặt, nước dưới đất;<br>- tổ chức và tiến hành quan trắc tài liệu mực nước; lưu lượng nước; chất lượng nước;<br>- phân tích, đánh giá được hiện trạng, diễn biến tài nguyên nước mặt, nước dưới đất;<br>- thao tác đúng trình tự, vận hành các thiết bị công trình, trình tự tháo, lắp và bảo dưỡng các bộ phận của máy đóng, mở;<br>- tự vận hành, thao tác đúng trình tự các cống tưới, tiêu lớn, nhỏ;<br>- thực hiện...</code>
  <code>query: người học ngành quản lý khai thác công trình thủy lợi trình độ cao đẳng phải có khả năng học tập và nâng cao trình độ như thế nào?</code>	<code>passage: khả năng học tập, nâng cao trình độ<br>- khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;<br>- người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành, nghề hoặc trong nhóm ngành, nghề hoặc trong cùng lĩnh vực đào tạo./.<br>người học ngành mộc xây dựng và trang trí nội thất trình độ cao đẳng phải có khả năng học tập, nâng cao trình độ như thế sau<br>- khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;<br>- người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi n...</code>	<code>passage: điều 22. trách nhiệm của chủ sở hữu, chủ quản lý công trình thủy lợi<br>1. trách nhiệm của chủ sở hữu công trình thủy lợi được quy định như sau<br>a) thực hiện quyền và trách nhiệm của chủ sở hữu theo quy định của pháp luật;<br>b) bảo đảm kinh phí bảo trì, đầu tư nâng cấp, xây dựng mới, hiện đại hóa, xử lý khắc phục sự cố, cắm mốc chỉ giới phạm vi bảo vệ công trình thủy lợi và giải pháp nâng cao hiệu quả quản lý, khai thác công trình thủy lợi.<br>2. trách nhiệm của chủ quản lý công trình thủy lợi được quy định như sau<br>a) quản lý việc khai thác và bảo vệ công trình thủy lợi theo mục tiêu, nhiệm vụ thiết kế và tiềm năng, lợi thế của công trình;<br>b) lựa chọn, ký kết hợp đồng với tổ chức, cá nhân khai thác công trình thủy lợi; giám sát việc cung cấp và sử dụng sản phẩm, dịch vụ thủy lợi;<br>c) chủ trì thực hiện điều tra, đánh giá hiệu quả quản lý, khai thác công trình thủy lợi theo định kỳ 05 năm hoặc đột xuất; quyết định theo thẩm quyền hoặc trình chủ sở hữu quyết định đầu tư nâng cấp, xây dựng ...</code>
  <code>query: người học ngành quản lý khai thác công trình thủy lợi trình độ cao đẳng phải có khả năng học tập và nâng cao trình độ như thế nào?</code>	<code>passage: khả năng học tập, nâng cao trình độ<br>- khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;<br>- người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành, nghề hoặc trong nhóm ngành, nghề hoặc trong cùng lĩnh vực đào tạo./.<br>người học ngành mộc xây dựng và trang trí nội thất trình độ cao đẳng phải có khả năng học tập, nâng cao trình độ như thế sau<br>- khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;<br>- người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi n...</code>	<code>passage: điều tra viên tài nguyên môi trường hạng iii - mã số v.06.02.05<br>.<br>2. tiêu chuẩn về trình độ đào tạo, bồi dưỡng<br>a) có bằng tốt nghiệp đại học trở lên phù hợp với khung năng lực của vị trí việc làm hoặc ngành, chuyên ngành địa chất, khoáng sản, tài nguyên nước, khí tượng, thủy văn, thủy lợi, hải văn, hải dương, đất đai, địa chính, địa lý, môi trường, biển, biến đổi khí hậu, tài nguyên và môi trường;<br>b) có chứng chỉ hoàn thành chương trình bồi dưỡng theo tiêu chuẩn chức danh nghề nghiệp viên chức chuyên ngành điều tra tài nguyên môi trường.<br>.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• gradient_accumulation_steps: 16
• eval_accumulation_steps: 16
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 2
• lr_scheduler_type: cosine_with_restarts
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: 16
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: cosine_with_restarts
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.10.15
• Sentence Transformers: 3.3.1
• Transformers: 4.46.2
• PyTorch: 2.5.1+cu124
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->