e5-finetune-embedding

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base <!-- at revision d128750597153bb5987e10b1c3493a34e5a4502a -->
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: bí quyết dưỡng tóc hiệu quả',
    'passage: Tên sản phẩm: Dầu Gội Dược Liệu Nguyên Xuân Dưỡng Tóc Hương Bưởi 450ml. Danh mục: Chăm Sóc Mẹ. Thương hiệu: NGUYEN XUAN. Mô tả chi tiết: Khám phá bí quyết cho mái tóc óng mượt với Dầu gội Dược liệu Nguyên Xuân Dưỡng Tóc Hương Bưởi 450ml. Sản phẩm là sự hòa quyện hoàn hảo giữa các loại thảo dược quý và tinh dầu bưởi, mang đến khả năng dưỡng tóc vượt trội. Dầu gội giúp làm sạch nhẹ nhàng, loại bỏ bụi bẩn và bã nhờn, đồng thời cung cấp độ ẩm cần thiết, phục hồi tóc khô xơ, hư tổn. Hương bưởi thơm mát mang lại cảm giác thư giãn sảng khoái. Với dung tích 450ml, sản phẩm là người bạn đồng hành lý tưởng cho mái tóc luôn khỏe mạnh, mềm mại và tràn đầy sức sống. Thông tin bổ sung: kích thước/size 450ML, tags NGUYEN XUAN, 450ML.',
    'passage: Tên sản phẩm: Lạp Xưởng Tươi LC Foods Hương Vị Đài Loan 250G. Danh mục: Sản Phẩm Từ Thịt. Thương hiệu: Việt Nam. Mô tả chi tiết: Lạp Xưởng Tươi LC Foods Hương Vị Đài Loan 250G mang đến trải nghiệm ẩm thực độc đáo với hương vị đặc trưng của Đài Loan. Sản phẩm được làm từ thịt heo tươi ngon, kết hợp cùng các gia vị truyền thống như rượu mai quế lộ, tiêu, tỏi, tạo nên hương vị thơm lừng, đậm đà. Lạp xưởng có thể chế biến nhanh chóng bằng cách chiên dầu hoặc nướng, rất thích hợp cho những bữa ăn nhanh hoặc làm phong phú thêm các món ăn gia đình. Bảo quản ở nhiệt độ 0-5 độ C trong ngăn mát tủ lạnh hoặc -18 độ C trong ngăn đá để giữ được hương vị tốt nhất. Sản phẩm 250G tiện lợi cho việc sử dụng và bảo quản. Thông tin bổ sung: chất liệu Thịt heo, chất ổn định, đường, muối, rượu mai quế lộ, tiêu, tỏi, chất điều vị, chất nhũ hóa, chất ch" />, kích thước/size 250G.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5405, 0.0346],
#         [0.5405, 1.0000, 0.1068],
#         [0.0346, 0.1068, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 294,194 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	<ul><li>min: 9 tokens</li><li>mean: 11.77 tokens</li><li>max: 19 tokens</li></ul>	<ul><li>min: 167 tokens</li><li>mean: 225.41 tokens</li><li>max: 256 tokens</li></ul>

• Samples:

  anchor	positive
  <code>query: khăn lót vintage phong cảnh</code>	<code>passage: Tên sản phẩm: Set 4 Khăn Lót Đĩa Le Reve. Danh mục: Trang trí bàn ăn. Thương hiệu: Nhà Xinh. Mô tả chi tiết: Set 4 khăn lót đĩa Le Reve từ Nhà Xinh mang đến vẻ đẹp cổ điển và tinh tế cho bàn ăn của bạn. Được làm từ 100% vinyl cao cấp nhập khẩu từ Ý, mỗi chiếc khăn lót đĩa có kích thước 43,3 × 33 cm, nổi bật với họa tiết phong cảnh vintage trên nền be nhạt, gợi cảm giác như những bức khắc họa nghệ thuật. Sản phẩm không chỉ bảo vệ bề mặt bàn mà còn tạo chiều sâu và sự trang nhã cho không gian ẩm thực. Với phong cách Vintage và Classic European, bộ khăn lót đĩa này là lựa chọn hoàn hảo để nâng tầm trải nghiệm dùng bữa, phù hợp cho bộ chén đĩa hoặc khay phục vụ, cũng như lót dưới bộ tách trà hay bình nước.</code>
  <code>query: Nước xả Power100 3.2kg</code>	<code>passage: Tên sản phẩm: Túi Nước Giặt Xả POWER100 Hương Nước Hoa Pháp 3.2KG. Danh mục: Giặt giũ & Chăm sóc quần áo. Thương hiệu: Power100. Mô tả chi tiết: Nước giặt xả Power100 Hương Nước Hoa Pháp Quyến Rũ 3.2kg mang đến trải nghiệm giặt giũ vượt trội. Với hoạt chất làm sạch nguồn gốc thiên nhiên, sản phẩm không chỉ thân thiện với môi trường mà còn giúp quần áo lưu giữ hương nước hoa Pháp quyến rũ lên đến 72 giờ. Công thức tiên tiến giúp ngăn mùi ẩm mốc hiệu quả, ngay cả khi phơi trong nhà, đồng thời làm bền màu vải và dịu nhẹ với da tay. Nước giặt xả Power100 phù hợp cho cả giặt tay và máy giặt cửa trên, cửa trước, đảm bảo quần áo luôn sạch sẽ, thơm mát và bền màu. Thông tin bổ sung: màu Đam Mê, Quyến rũ, tags Power100, Việt Nam, Không.</code>
  <code>query: thay ruột mực cho bút máy</code>	<code>passage: Tên sản phẩm: Parker Ống Mực Xanh 1950384. Danh mục: Ruột Chì, Ruột Viết. Thương hiệu: Parker. Mô tả chi tiết: Ống mực xanh Parker 1950384 là giải pháp thay thế ruột mực tiện lợi, được thiết kế chuyên dụng cho các dòng bút máy Parker. Với khả năng ghép nối dễ dàng, bạn có thể thay mực nhanh chóng mọi lúc mọi nơi, tiết kiệm thời gian và công sức. Mực ER QUINK của Parker nổi bật với sắc xanh đậm, trơn tru và khô nhanh, hạn chế tối đa tình trạng nhòe mực trên giấy. Trải nghiệm những nét chữ uyển chuyển, đầy đặn và tận hưởng cảm giác mực đẹp mắt ngay khi ngòi bút chạm vào trang giấy. Sản phẩm là sự lựa chọn hoàn hảo để duy trì hiệu suất viết của bút máy Parker. Thông tin bổ sung: tags 20.11.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 15,483 evaluation samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	<ul><li>min: 9 tokens</li><li>mean: 11.45 tokens</li><li>max: 18 tokens</li></ul>	<ul><li>min: 160 tokens</li><li>mean: 228.92 tokens</li><li>max: 256 tokens</li></ul>

• Samples:

  anchor	positive
  <code>query: máy in brother màu sắc sống động</code>	<code>passage: Tên sản phẩm: Máy in phun màu đa năng Brother DCP-T730DW Wifi. Danh mục: Máy in Brother. Thương hiệu: Brother. Mô tả chi tiết: Nâng cao hiệu suất làm việc với Máy in phun màu đa năng Brother DCP-T730DW Wifi. Thiết bị đa chức năng này không chỉ in ấn màu sắc sống động mà còn scan và copy tiện lợi, kết nối không dây Wifi giúp bạn in ấn mọi lúc mọi nơi. Với thiết kế màu đen sang trọng, máy in Brother DCP-T730DW là giải pháp lý tưởng cho gia đình và văn phòng. Tận hưởng ưu đãi trả góp 0%, bảo hành 2 năm và chính sách 1 đổi 1 trong tháng đầu. Giao hàng nhanh chóng và lắp đặt đơn giản. Thông tin bổ sung: màu Đen, tags Máy in phun màu đa năng Brother DCP-T730DW Wifi, Máy in phun màu Brother DCP-T730DW Wifi, Máy in phun màu Brother DCP-T730DW Wifi, Máy in Máy in phun màu đa năng Brother DCP-T730DW Wifi, giá Máy in phun màu đa năng Brother DCP-T730DW Wifi, thông tin Máy in phun màu đa năng Brother DCP-T730DW Wifi.</code>
  <code>query: Simon Sinek sách kinh doanh hay</code>	<code>passage: Tên sản phẩm: Start With Why: How Great Leaders Inspire Everyone To Take Action. Danh mục: Business. Thương hiệu: Portfolio. Mô tả chi tiết: "Start With Why: How Great Leaders Inspire Everyone To Take Action" là cuốn sách truyền cảm hứng, thay đổi cuộc đời, khám phá bí quyết đằng sau thành công của các nhà lãnh đạo vĩ đại. Tác giả Simon Sinek đặt câu hỏi nền tảng: Tại sao một số người và tổ chức lại đổi mới, có ảnh hưởng và lợi nhuận hơn những người khác? Cuốn sách tiết lộ cách các nhà lãnh đạo kiệt xuất như Martin Luther King Jr., Steve Jobs hay anh em nhà Wright đều bắt đầu với "TẠI SAO". Họ nhận ra rằng khách hàng chỉ thực sự tin tưởng vào sản phẩm, dịch vụ hay ý tưởng khi họ hiểu rõ mục đích cốt lõi đằng sau nó. "Start With Why" cung cấp một khuôn khổ mạnh mẽ, giúp bạn xây dựng tổ chức, dẫn dắt phong trào và truyền cảm hứng cho mọi người bằng cách xác định và truyền đạt rõ ràng "TẠI SAO" của bạn.</code>
  <code>query: AI LED Display Anker có gì đặc biệt</code>	<code>passage: Tên sản phẩm: Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Display. Danh mục: Adapter sạc Anker. Thương hiệu: Anker. Mô tả chi tiết: Trải nghiệm sức mạnh sạc siêu tốc với củ sạc Anker Prime A2687, sở hữu công nghệ GaN tiên tiến và công suất lên đến 160W. Thiết bị tích hợp 3 cổng USB Type-C, cho phép bạn nạp đầy năng lượng cho nhiều thiết bị cùng lúc một cách hiệu quả. Màn hình AI LED Display thông minh hiển thị chi tiết quá trình sạc, mang đến trải nghiệm tiện lợi và hiện đại. Sản phẩm chính hãng Anker, đảm bảo chất lượng và độ bền bỉ. An tâm mua sắm với chính sách giao hàng miễn phí toàn quốc trong 1 giờ và đổi 1 trong tháng đầu nếu có lỗi. Thông tin bổ sung: màu Bạc, tags Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Display, Sạc nhanh 3 cổng Anker Prime A2687 AI LED Display, Adapter sạc Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Display, giá Sạc nhanh 3 cổng USB Type-C IQ5 GaN 160W Anker Prime A2687 AI LED Disp...</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• num_train_epochs: 5
• learning_rate: 2e-05
• warmup_steps: 0.1
• fp16: True
• per_device_eval_batch_size: 128
• load_best_model_at_end: True
• dataloader_num_workers: 4

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 128
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 128
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

• The bold row denotes the saved checkpoint.

</details>

Training Time

• Training: 1.6 hours
• Evaluation: 5.8 minutes
• Total: 1.7 hours

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.7.0
• Transformers: 5.14.1
• PyTorch: 2.8.0+cu128
• Accelerate: 1.14.0
• Datasets: 5.0.1
• Tokenizers: 0.22.2

Additional Resources

• Training and Finetuning Embedding Models with Sentence Transformers: the end-to-end guide for training or finetuning Sentence Transformer models.
• Introduction to Matryoshka Embedding Models: variable-size embeddings that can be truncated with minimal quality loss.
• Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval: post-training compression of embedding vectors.
• Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video models through the same API.
• Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: train multimodal embedding models, with a Visual Document Retrieval walkthrough.

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->