E5_base_topic

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base <!-- at revision 835193815a3936a24a0ee7dc9e3d48c1fbb19c55 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/E5_base_topic")
# Run inference
sentences = [
    'query: FIFA đã công bố hôm thứ Năm rằng Sân vận động Gillette sẽ là một trong 16 địa điểm tổ chức FIFA World Cup nam vào năm 2026. Đây sẽ là lần thứ hai Foxborough đóng vai trò chủ nhà cho giải đấu World Cup nam; sáu trận đấu được tổ chức tại sân vận động Foxboro vào năm 1994, trong đó có trận chung kết World Cup của Diego Maradona của Argentina và trận tứ kết đáng nhớ giữa Tây Ban Nha và Ý. Gillette cũng từng là địa điểm tổ chức Giải vô địch bóng đá nữ thế giới FIFA vào năm 1999 và 2003. Sự kiện này sẽ được tổ chức ở ba quốc gia lần đầu tiên vào năm 2026, với Hoa Kỳ, Canada và Mexico chia sẻ nhiệm vụ chủ nhà. Tham gia cùng Foxborough — một trong những địa điểm của Khu vực phía Đông — với tư cách là chủ nhà vào năm 2026 sẽ là: Miền Tây: Vancouver, Seattle, San Francisco/Bay Area, Los Angeles, Guadalajara. Miền Trung: Kansas City, Dallas, Atlanta, Houston, Monterrey, Mexico City. Miền Đông: Toronto, Philadelphia, Miami, New York/New Jersey. Sáu thành phố đã vận động đấu thầu và bị loại là Washington, D.C.',
    'passage: Bóng đá',
    'passage: Kinh doanh',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.7709, -0.0637],
#         [ 0.7709,  1.0000, -0.1021],
#         [-0.0637, -0.1021,  1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 99,056 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 126.9 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 9.71 tokens</li><li>max: 51 tokens</li></ul>

• Samples:

  anchor	positive
  <code>query: chất rắn ở trên đó người và các loài động vật, thực vật sinh sống; đối lập với trời hoặc với biển, nước</code>	<code>passage: đứng trên mặt đất</code>
  <code>query: Dân chúng không chỉ thất vọng trước việc những kẻ man rợ đến và ra lệnh cho các điều khoản trong hiệp ước của họ, mà còn rằng Mạc phủ Tokugawa bất lực đang cúi xuống và nhượng bộ mọi yêu cầu của họ.</code>	<code>passage: Sự khuất phục của Mạc phủ Tokugawa trước những kẻ man rợ</code>
  <code>query: 'Không có đối thủ dễ một khi đã lọt vào tứ kết Cup C1'
  <br>HLV trưởng CLB Inter, Roberto Mancini, đã phát biểu như vậy khi lá thăm may rủi đưa đội bóng của ông gặp đối thủ nhiều duyên nợ AC Milan, tại tứ kết Champions League. Quan điểm của ông cũng giống nhiều nhà cầm quân khác.
  <br>AC Milan gặp Inter là một cặp đấu căng thẳng, nhưng HLV Mancini vẫn hài lòng bởi đội bóng của ông đã tránh được Chelsea: "Đúng là trên thực tế, đã lâu rồi chúng tôi chưa thể giành chiến thắng trước AC Milan, nhưng sớm muộn gì điều này cũng phải xảy ra. Đó sẽ là một trận đấu khó khăn. Nhưng như tôi nói từ trước, một khi đã lọt vào tới tứ kết Champions League, chẳng có đội bóng nào là dễ chơi cả. Tôi hài lòng với kết quả này bởi chúng tôi không phải gặp Chelsea".</code>	<code>passage: Thể thao Bóng đá</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 11,007 evaluation samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 136.68 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 9.77 tokens</li><li>max: 44 tokens</li></ul>

• Samples:

  anchor	positive
  <code>query: Lấy dăm gỗ 15cm găm thành ngực bệnh nhân | VTV.VN:<br>Bệnh nhân viện vết thương thành ngực 2cm, dị đuôi dị vật 0,4cm, đau ngực phải. Xác định trường hợp vết thương ngực hở dị vật thành ngực trừ tổn thương phổi, màng phổi sĩ bệnh nhân chụp CTScanner ngực kèm dựng hình. Sau đó, bệnh nhân hội chẩn mổ dị vật. Dị vật mảnh dăm gỗ nhọn 15cm, ghi tổn thương màng phổi. Sau mổ, bệnh nhân ổn định. Qua trường hợp này, sĩ khuyến cáo: Người dân tuân thủ quy định an toàn lao động. Trường hợp dị vật đâm thành ngực rút dị vật ngoài. Phải chóng bệnh nhân sở y tế xử trí trị kịp thời. * Mời quý độc giả dõi chương trình phát sóng Đài Truyền hình Việt Nam TV Online VTVGo!</code>	<code>passage: Sức khỏe - Đời sống</code>
  <code>query: như róc</code>	<code>passage: khô rong róc</code>
  <code>query: Người Pakistan phản đối tổng thống nắm vai trò quân sự
  <br>Hôm qua, một cuộc biểu tình quy mô lớn diễn ra tại thành phố Rawalpindi nhằm phản đối việc ông Pervez Musharraf tuyên bố sẽ không từ bỏ vai trò tổng tư lệnh quân đội như từng hứa hẹn.
  <br>Gần một năm trước, tổng thống Pakistan đã cam kết sẽ rời bỏ bộ quân phục nhằm tranh thủ sự ủng hộ của liên minh MMA, gồm các đảng phái tôn giáo cánh hữu. Liên minh MMA chính là nhà tổ chức của cuộc tuần hành hôm qua và họ thề sẽ tiếp tục hoạt động phản đối trên đường phố.
  <br>Hàng nghìn người đã bất chấp cơn mưa tầm tã tập trung tại doanh trại quân sự chính ở thành phố Rawalpindi để lắng nghe những lời chỉ trích Tổng thống Musharraf. Những người diễn thuyết cáo buộc ông là độc tài, không khác gì so với 3 nhà lãnh đạo quân sự trước đây của Pakistan.</code>	<code>passage: Thế giới</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.1.2
• Transformers: 4.53.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.4.1
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->