multilingual-e5-large-onlineloss

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • dataset_full_fixed

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("multilingual-e5-large-onlineloss")
# Run inference
sentences = [
    'Thân chào Đức Thịnh, Chiều cao mỗi người phụ thuộc 2 yếu tố là di truyền và môi trường. Nếu ba mẹ cao lớn thì thường con cũng thừa hưởng được yếu tố này. Nhưng điều có thể cải thiện đó là yếu tố môi trường, nghĩa là dinh dưỡng và luyện tập thể thao. Chiều cao con người có được là nhờ sự phát triển của lớp sụn tiếp hợp. Lớp sụn này phát triển liên tục làm xương dài ra. Phần phát triển mạnh nhất nằm ở vùng gối cũng như đầu trên xương cánh tay và vùng đầu dưới cẳng tay. Vùng sụn này, nhất là vùng gần gối, sẽ phát triển mạnh khi có sự kích thích cơ học, nghĩa là có sự chạy nhảy, vận động. Việc cung cấp đầy đủ dinh dưỡng cũng như sữa sẽ làm cho vùng sụn này phát triển tốt và là cơ sở cho việc tăng chiều cao. Khi phát triển đến một độ tuổi nào đó vùng sụn này sẽ không còn nữa thì sự phát triển chiều cao không còn. Với trường hợp của em, ở độ tuổi 20, khó có cơ hội tăng thêm chiều cao như giai đoạn dậy thì, nhưng hy vọng vẫn còn cao thêm một ít cho đến 25 tuổi. Việc tập xà đơn thì chưa thấy có nghiên cứu nào chứng minh môn này giúp phát triển chiều cao hơn các môn khác. Những môn thể thao chạy nhảy như bóng rổ, bóng chuyền, chạy điền kinh, cầu lông… đều có thể giúp phát triển chiều cao, không nhất thiết phải đi bơi hay tập xà như mọi người vẫn nghĩ. Em nên chơi môn thể thao nào mình yêu thích mới có thể duy trì thường xuyên và theo đuổi lâu dài được. Cường độ tập như thế nào thì tùy thuộc mỗi người, em nên tham khảo ý kiến huấn luyện viên hay thầy giáo thể dục để có hướng dẫn chính xác. Chúc em vui khỏe và tiếp tục cao thêm như mong muốn!',
    'Thưa bác sĩ,\r\n\r\nEm là nam, năm nay 20 tuổi. Em cao 1.7m, bác sĩ có thể cho em biết là để tăng chiều cao thì em nên tập xà đơn 1 ngày bao nhiêu hiệp, mỗi hiệp bao nhiêu cái?\r\n\r\nEm xin chân thành cảm ơn! (Đức Thịnh - Bình Định)',
    'Xin chào bác sĩ,\r\n\r\nTôi đã có đủ số con. Tôi rất muốn đi triệt sản nhưng rất ngại đến bệnh viện. Tôi đã xem trên mạng quy trình phẫu thuật thật đơn giản. Đã có lúc tôi đã lấy hết dũng cảm để rạch thử phần bìu một tí và dùng kẹp để móc được ống dẫn tinh ra nhưng không dám tự làm tiếp vì chưa hiểu thế nào. \r\n\r\nXin hỏi bác sĩ nếu tự phẫu thuật có nguy hiểm điều gì không?\r\n\r\nXin cảm ơn bác sĩ !',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

dataset_full_fixed

• Dataset: dataset_full_fixed at ef2e7fd
• Size: 54,755 training samples
• Columns: <code>positive</code> and <code>query</code>
• Approximate statistics based on the first 1000 samples:

  	positive	query
  type	string	string
  details	<ul><li>min: 34 tokens</li><li>mean: 232.84 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 6 tokens</li><li>mean: 79.09 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  positive	query
  <code>Hình minh họa Chào em, Trong hầu hết các trường hợp tổn thương gân gót nhẹ, thường chỉ cần bảo tồn, không phẫu thuật. Nếu điều trị sớm và đúng cách, người bệnh có thể hồi phục và trở về sinh hoạt bình thường trong khoảng 3-6 tháng. Tình trạng sưng vùng bị thương có thể xuất phát từ tổn thương mạch máu hồi lưu ở chân hoặc do nhiễm trùng vết thương. Nếu vết thuơng sưng nóng, đỏ, chảy mủ hoặc sốt, em nên tái khám để được kê toa kháng sinh và hướng dẫn cách chăm sóc phù hợp. Để giảm sưng, em nên ngồi kê cao chân, hạn chế đứng lâu 1 chỗ, chườm lạnh và dùng thuốc kháng viêm theo toa bác sĩ em nhé!</code>	<code>Chào bác sĩ.Em bị đứt sợi gân nhỏ bên ngoài chân phải và bị tổn thương gân Achilles. Em tập từ tuần thứ sáu đi được mà không dám đi mạnh. Nay được 8 tuần rồi mà dưới vết thương bị sưng phù mà không nhức. Cho em hỏi vậy có sao không ạ và thời gian bao lâu là em lành hoàn toàn ạ?</code>
  <code>Mô tả ngắn:<br>Thuốc Alverin là viên nén chứa hoạt chất Alverin (dưới dạng Alverin citrat) có tác dụng chống đau do co thắt cơ trơn ở đường tiêu hoá như hội chứng ruột kích thích, bệnh đau túi thừa của ruột kết, đau do co thắt đường mật, cơn đau quặn thận, thống kinh nguyên phát (đau bụng kinh vô căn).<br>Thành phần:<br>Alverine: 40mg<br>Chỉ định:<br>Thuốc Alverin chỉ định điều trị trong các trường hợp sau:<br>Chống đau do co thắt cơ trơn ở đường tiêu hoá như hội chứng ruột kích thích, bệnh đau túi thừa của ruột kết, đau do co thắt đường mật, cơn đau quặn thận. Thống kinh nguyên phát.</code>	<code>Thuốc Alverin 40mg thephaco chống đau do co thắt cơ trơn, hội chứng ruột kích thích (10 vỉ x 10 viên)</code>
  <code>Xin chào bạn, Để khẳng định bạn có vấn đề về tim mạch hay không, bác sĩ cần
  <br>có các thông tin từ bệnh sử (triệu chứng qua lời khai bệnh của bạn), khám lâm
  <br>sàng và các xét nghiệm từ cơ bản đến chuyên sâu (xét nghiệm máu, ECG, siêu âm
  <br>tim, trắc nghiệm gắng sức, chụp động mạch vành...) Tần suất của bạn không thường xuyên (6
  <br>tháng một lần), và triệu chứng đau ngực của bạn không điển hình do tim (có thể
  <br>do nguyên nhân khác như đau do thành ngực, thần kinh liên sườn, viêm sụn sườn,
  <br>đau dạ dày…). Tuy vậy, để chẩn đoán hay loại trừ do tim, bạn nên đến
  <br>khám tim mạch tại bệnh viện chuyên khoa, để các bác sĩ có thể thực hiện các
  <br>khám nghiệm chuyên sâu hơn tìm bệnh cho bạn. Cảm ơn bạn. BS. Nguyễn Thái Bình Sơn Phòng
  <br>khám Đa khoa Tâm Trí Sài Gòn</code>	<code>Thưa bác sĩ Nguyễn Thái Bình Sơn,

  <br> <br>Em có một triệu chứng đau vùng ngực, mỗi lần lên cơn đau thường em không thể di chuyển được, nếu nhích chân hay cựa người một tí là em bị đau lồng ngực trái và cảm giác khó thở, em thường phải đứng yên hay ngồi yên một chỗ khi em bị lên cơn đau. <br> <br>Trước đây thời gian đâu thường 0,5 phút đến 2 phút thôi nhưng đợt gần đây nhất là 3 tiếng đòng hồ. Thông thường khoảng 6 tháng em mới bị đau một lần. Mỗi lần bị đau em có đi đo điện tâm đồ và siêu âm tim nhưng BS nói không bị gì cả. Mong BS cho em lời khuyên, em nên đến bệnh viện kiểm tra như thế nào để em biết được em đang bị gì ạ? Cảm ơn BS nhiều! <br> <br>(Huỳnh Nữ - Quảng Ngãi)</code> |
• Loss: <code>OnlineContrastiveLoss</code>

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 5
• per_device_eval_batch_size: 1
• learning_rate: 1e-06
• num_train_epochs: 5
• lr_scheduler_type: constant_with_warmup
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 5
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>

• The bold row denotes the saved checkpoint.

</details>

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.4.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->