E5_v3_4_instruct_topic

SentenceTransformer based on meandyou200175/E5_v3_instruct_topic

This is a sentence-transformers model finetuned from meandyou200175/E5_v3_instruct_topic. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: meandyou200175/E5_v3_instruct_topic <!-- at revision e1cd18d29dcab90869d10fb264523bc44cbe8455 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/E5_v3_4_instruct_topic")
# Run inference
sentences = [
    'task: classification | query: Một thoáng Bách khoa',
    'Khoa học',
    'Music',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6098, 0.1858],
#         [0.6098, 1.0000, 0.0294],
#         [0.1858, 0.0294, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 127,618 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 12 tokens</li><li>mean: 112.57 tokens</li><li>max: 282 tokens</li></ul>	<ul><li>min: 3 tokens</li><li>mean: 7.53 tokens</li><li>max: 33 tokens</li></ul>

• Samples:

  anchor	positive
  <code>task: sentence similarity | query: Mumbai là địa điểm tổ chức các bữa tiệc diễn ra ở Mumbai vào bất kỳ ngày nào và nếu bạn ở thị trấn vào đêm giao thừa, đừng suy nghĩ gì thêm và lái xe xuống Smaaash, Kamala Mills, Lower Parel để tham gia lễ kỷ niệm Đêm Giao thừa 2016 của Smaaash.</code>	<code>Lễ kỷ niệm đêm giao thừa năm 2016 của Smaaash ở Mumbai</code>
  <code>task: classification | query: Các nhánh của động mạch chủ bụng Các nhánh của động mạch chủ bụng cung cấp máu cho ruột động mạch tạng và động mạch treo tràng trên và dưới , gan động mạch gan , lách động mạch lách , thận động mạch thận và chân động mạch chậu Nguồn: biodigital</code>	<code>Y tế|Khoa học</code>
  <code>task: sentence similarity | query: Cảm ơn Randy Cassingham của This is True đã chỉ cho tôi những bài báo đó và nhiều người dân địa phương ban đầu đã thông báo cho tôi (bên kia ao ở Hoa Kỳ) về phong trào này.</code>	<code>Ghi nhận nguồn thông tin về phong trào</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 5,318 evaluation samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 12 tokens</li><li>mean: 111.78 tokens</li><li>max: 318 tokens</li></ul>	<ul><li>min: 3 tokens</li><li>mean: 7.72 tokens</li><li>max: 31 tokens</li></ul>

• Samples:

  anchor	positive
  <code>task: classification | query: Ung thư vú di căn không có cách chữa trị và đã được chứng minh là có khả năng kháng cự mạnh mẽ với một trong những phương pháp điều trị ung thư mới đầy hứa hẹn và sáng tạo nhất: liệu pháp miễn dịch. Giờ đây, các nhà nghiên cứu tại Trường Y thuộc Đại học Washington ở St. Louis đã xác định được cách điều trị khu vực xung quanh khối u vú đã di căn đến xương để những khối u đó trở nên dễ bị hệ thống miễn dịch của cơ thể tấn công. Khi các nhà nghiên cứu tăng cường hoạt động của một số tế bào miễn dịch nhất định, được gọi là tế bào T và đại thực bào, các tế bào miễn dịch này phối hợp với nhau để loại bỏ các khối u vú di căn đã lan đến xương của chuột và tiếp tục loại bỏ các tế bào khối u cuối cùng quay trở lại. Nghiên cứu được công bố ngày 8 tháng 3 trên Cancer Discovery, tạp chí của Hiệp hội Nghiên cứu Ung thư Hoa</code>	<code>Sinh vật học</code>
  <code>task: classification | query: Chàng trai ngang đại học YouTuber: Từ hai bàn trắng kiếm 4 triệu đô/năm, kiếm tiền đa kênh ngại vất vả:<br>Cuối 2018, Brian Jung (21 tuổi) quyết định học đại học đuổi công kinh doanh toàn thời gian. Cha mẹ Hàn Quốc định cư Mỹ ngạc nhiên quyết định này. Jung phụ trách thương mại điện tử thời gian kiếm 200 đô la ngày, đảm bảo tài đại học. Jung kênh YouTube, sở công kinh doanh thức. Nhưng quyết định mình: "Tôi bố mẹ bố mẹ phải  chăm nghỉ học Đại học sợ nào, học đâu", Jung nói. Chàng trai quyết tâm đuổi quyết định tương lai mơ hồ. Năm 25 tuổi, Jung YouTube toàn thời gian. Anh kiếm 3,7 triệu đô la 2021, kênh YouTube tài cá nhân 1 triệu đăng ký. Nhìn khứ, quyết định học đại học trở thành doanh nhân "thời quan trọng" đời ấy: Nó phép thời gian kênh phát triển thành doanh nghiệp. Trong thu nhập chi phí hoạt động thuế doa</code>	<code>Sức khỏe - Đời sống</code>
  <code>task: sentence similarity | query: có tính lẳng lơ như gái đĩ</code>	<code>hạng người đĩ thoã</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.1.2
• Transformers: 4.53.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.4.1
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->