baai-general-embedding-finetune

SentenceTransformer based on intfloat/multilingual-e5-large-instruct

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large-instruct <!-- at revision c9e87c786ffac96aeaeb42863276930883923ecb -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dropout(
    (dropout_layer): Dropout(p=0.1, inplace=False)
  )
  (4): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (5): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Thời điểm xem xét bổ nhiệm lại công chức lãnh đạo cấp Vụ theo quy định là bao lâu?',
    'Thời điểm xem xét bổ nhiệm lại, thời hạn giữ chức vụ\n1. Thời điểm xem xét bổ nhiệm lại \na) Chậm nhất là 90 ngày trước ngày hết thời hạn bổ nhiệm công chức, viên chức cấp vụ và cấp phòng, đơn vị thuộc Bộ phải tiến hành quy trình bổ nhiệm lại để quyết định hoặc trình cấp có thẩm quyền xem xét, quyết định bổ nhiệm lại hoặc không bổ nhiệm lại công chức lãnh đạo, quản lý;\nb) Quyết định bổ nhiệm lại công chức giữ chức vụ lãnh đạo, quản lý phải được ban hành trước ít nhất 01 ngày làm việc, tính đến ngày hết thời hạn bổ nhiệm.\n...',
    'Khoản 5. Cấp có thẩm quyền bổ nhiệm quyết định tiêu chuẩn, điều kiện về thành tích, kết quả và sản phẩm cụ thể phù hợp để thực hiện việc bổ nhiệm trong thời gian chưa có văn bản hướng dẫn nội dung quy định tại điểm b khoản 2 Điều 33 Nghị định này.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 114,456 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 24.33 tokens</li><li>max: 55 tokens</li></ul>	<ul><li>min: 23 tokens</li><li>mean: 263.88 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 7 tokens</li><li>mean: 111.33 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Người phát ngôn của Bộ Công thương được quyền phát ngôn trong trường hợp đột xuất nào?</code>	<code>Phát ngôn và cung cấp thông tin trong trường hợp đột xuất, bất thường<br>1. Người phát ngôn Bộ Công an hoặc Người được ủy quyền phát ngôn của Bộ Công an có trách nhiệm phát ngôn và cung cấp thông tin kịp thời, chính xác cho báo chí trong các trường hợp đột xuất, bất thường sau đây:<br>a) Khi Bộ Công an được Chính phủ giao chủ trì xử lý sự cố xảy ra liên quan đến nhiều bộ, ngành, tỉnh, thành phố trực thuộc trung ương;<br>b) Khi xảy ra các sự kiện, vấn đề quan trọng có tác động lớn trong xã hội hoặc khi dư luận xuất hiện nhiều ý kiến không thống nhất về một vấn đề thuộc phạm vi quản lý của Bộ Công an nhằm cảnh báo kịp thời và định hướng dư luận.<br>Trường hợp xảy ra vụ việc cần có ngay thông tin ban đầu của Bộ Công an, Người phát ngôn Bộ Công an hoặc Người được ủy quyền phát ngôn của Bộ Công an có trách nhiệm chủ động phát ngôn, cung cấp thông tin cho báo chí trong thời gian chậm nhất là 24 giờ, kể từ khi vụ việc xảy ra;<br>c) Khi cơ quan báo chí hoặc cơ quan chỉ đạo, quản lý nhà nước về báo chí có yêu cầu phát ngôn và cung cấp thông tin về các sự kiện, vấn đề thuộc phạm vi quản lý nhà nước của Bộ Công an đã được nêu trên báo chí hoặc về các sự kiện, vấn đề quy định tại điểm b khoản này;<br>d) Khi có căn cứ cho rằng báo chí đăng, phát thông tin sai sự thật liên quan đến Bộ Công an, Người phát ngôn Bộ Công an hoặc Người được ủy quyền phát ngôn của Bộ Công an có trách nhiệm yêu cầu cơ quan báo chí đó phải đăng, phát ý kiến phản hồi, cải chính theo quy định của pháp luật.<br>2. Người thực hiện phát ngôn và cung cấp thông tin cho báo chí của đơn vị thuộc Bộ, Công an cấp tỉnh có trách nhiệm phát ngôn và cung cấp thông tin kịp thời, chính xác cho báo chí trong các trường hợp đột xuất, bất thường sau đây:<br>a) Khi xảy ra các sự kiện, vấn đề quan trọng có tác động lớn trong xã hội hoặc khi dư luận xuất hiện nhiều ý kiến không thống nhất về một vấn đề thuộc phạm vi quản lý của cơ quan mình nhằm cảnh báo kịp thời và định hướng dư luận;<br>b) Khi cơ quan báo chí hoặc cơ quan chỉ đạo, quản lý nhà nước về báo chí có yêu cầu phát ngôn và cung cấp thông tin về các sự kiện, vấn đề thuộc phạm vi quản lý nhà nước của cơ quan mình đã được nêu trên báo chí hoặc về các sự kiện, vấn đề quy định tại điểm a khoản này;<br>c) Khi có căn cứ cho rằng báo chí đăng, phát thông tin sai sự thật liên quan đến đơn vị mình, người thực hiện phát ngôn và cung cấp thông tin cho báo chí của đơn vị thuộc Bộ, Công an cấp tỉnh có trách nhiệm yêu cầu cơ quan báo chí đó phải đăng, phát ý kiến phản hồi, cải chính theo quy định của pháp luật;<br>d) Trường hợp cần tổ chức họp báo để cung cấp thông tin cho báo chí thì Thủ trưởng đơn vị thuộc Bộ, Giám đốc Công an cấp tỉnh phải báo cáo, xin ý kiến Bộ trưởng hoặc Thứ trưởng phụ trách</code>	<code>Người phát ngôn được quyền từ chối trả lời những vấn đề về hoạt động của Chính phủ, Thủ tướng Chính phủ không thuộc thẩm quyền phát ngôn; được quyền cải chính những thông tin không đúng sự thật liên quan đến quan điểm và hoạt động của Chính phủ, Thủ tướng Chính phủ</code>
  <code>Lệ phí thực hiện thủ tục công nhận doanh nghiệp ưu tiên trong lĩnh vực hải quan là bao nhiêu?</code>	<code>NỘI DỤNG CỤ THỂ CỦA TỪNG THỦ TỤC HÀNH CHÍNH THUỘC PHẠM VI CHỨC NĂNG QUẢN LÝ CỦA BỘ TÀI CHÍNH<br>1. Tên thủ tục: Thủ tục công nhận doanh nghiệp ưu tiên trong lĩnh vực hải quan<br>...<br>1.7. Kết quả thực hiện thủ tục hành chính:<br>Quyết định công nhận doanh nghiệp ưu tiên (Mẫu 03/DNUT ban hành kèm theo Thông tư 07/2019/TT-BTC ngày 28/01/2019).<br>1.8. Phí, lệ phí: không có.<br>1.9. Tên mẫu đơn, mẫu tờ khai:<br>- Doanh nghiệp xuất khẩu, nhập khẩu hàng hóa và Đại lý làm thủ tục hải quan nộp văn bản đề nghị áp dụng chế độ ưu tiên theo mẫu 02a/DNUT ban hành kèm theo Thông tư 07/2019/TT-BTC ngày 28/01/2019<br>- Tổ chức, cá nhân nhập khẩu hàng hóa để thực hiện dự án đầu tư trọng điểm được Thủ tướng Chính phủ cho ý kiến trước khi cấp phép đầu tư đang trong giai đoạn xây dựng cơ bản nộp văn bản đề nghị áp dụng chế độ ưu tiên theo mẫu 02b/DNUT ban hành kèm theo Thông tư 72/2015/TT-BTC ngày 12/5/2015.<br>...</code>	<code>Quyết định này áp dụng đối với cơ quan nhà nước, doanh nghiệp và tổ chức, cá nhân tham gia hoạt động nhập khẩu, sản xuất và kinh doanh hàng hóa quy định tại khoản 1 và khoản 2 Điều 3 Quyết định này.</code>
  <code>Chuẩn bị phiên họp giải quyết tranh chấp</code>	<code>Điều 54. Chuẩn bị phiên họp giải quyết tranh chấp<br>1. Trường hợp các bên không có thoả thuận khác hoặc quy tắc tố tụng của Trung tâm trọng tài không có quy định khác, thời gian và địa điểm mở phiên họp do Hội đồng trọng tài quyết định.<br>2. Trường hợp các bên không có thoả thuận khác hoặc quy tắc tố tụng của Trung tâm trọng tài không có quy định khác, giấy triệu tập tham dự phiên họp phải được gửi cho các bên chậm nhất 30 ngày trước ngày mở phiên họp.</code>	<code>Điều 3. Giải thích từ ngữ<br>...<br>2. Thoả thuận trọng tài là thoả thuận giữa các bên về việc giải quyết bằng Trọng tài tranh chấp có thể phát sinh hoặc đã phát sinh.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 18,541 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 24.31 tokens</li><li>max: 51 tokens</li></ul>	<ul><li>min: 13 tokens</li><li>mean: 278.85 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 7 tokens</li><li>mean: 108.66 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Địa điểm, cơ sở hạ tầng, trang thiết bị khảo nghiệm tính đồng nhất giống ngô được quy định như thế nào?</code>	<code>Yêu cầu về khảo nghiệm<br>4.1 Yêu cầu về địa điểm, cơ sở hạ tầng, trang thiết bị khảo nghiệm tính khác biệt, tính đồng nhất và tính ổn định giống lúa<br>- Tổ chức thử nghiệm giống, sản phẩm cây trồng được cơ quan có thẩm quyền cấp giấy chứng nhận đăng ký hoạt động để kiểm tra chất lượng hạt giống gửi khảo nghiệm (ngoại trừ chỉ tiêu hạt khác giống) và phân tích các chỉ tiêu chất lượng sản phẩm cây trồng theo quy định tại 5.2.1;<br>- Kho lưu mẫu giống khảo nghiệm và mẫu chuẩn: phải có thiết bị làm mát, điều chỉnh được nhiệt độ, ẩm độ. Đảm bảo nhiệt độ từ 5 °C đến 15 °C, độ ẩm tương đối từ 40 % đến 60 %. Thể tích kho tối thiểu 20 m3;<br>- Trang thiết bị phục vụ cho quá trình khảo nghiệm như: kính lúp, bảng so màu, máy tính, máy in, thiết bị ghi hình, phần mềm xử lý số liệu;<br>- Thiết bị, dụng cụ đo lường đã được kiểm định hoặc hiệu chuẩn định kỳ theo quy định, bao gồm: cân điện tử độ chính xác 0,1 g hoặc 0,01 g; cân có thể cân ít nhất 10 kg; máy đo độ ẩm hạt; dụng cụ đo nhiệt độ và độ ẩm, dụng cụ đo pH, kính hiển vi có độ phóng đại đến 400 lần;<br>- Vật dụng để thiết kế, triển khai thí nghiệm trên đồng ruộng như: thước, bình phun hoặc máy phun thuốc bảo vệ thực vật, bảng, biển hiệu phục vụ khảo nghiệm và các dụng cụ cần thiết khác;<br>- Trang bị bảo hộ lao động bao gồm: khẩu trang, quần áo bảo hộ lao động, ủng, găng tay;<br>- Đủ diện tích đất để bố trí khảo nghiệm trên đồng ruộng, tối thiểu là 140 m2;<br>- Bộ mẫu chuẩn của các giống biết đến rộng rãi.<br>...</code>	<code>Khoản 1.12. Phụ lục 12: Yêu cầu kỹ thuật và phương pháp thử đối với trinatri citrat</code>
  <code>Hoạt động thương mại có những đặc điểm nào?</code>	<code>1. Hoạt động thương mại là hoạt động nhằm mục đích sinh lợi, bao gồm mua bán hàng hoá, cung ứng dịch vụ, đầu tư, xúc tiến thương mại và các hoạt động nhằm mục đích sinh lợi khác.</code>	<code>Điều 2. Sửa đổi, bổ sung một số điều Nghị định số 20/2006/NĐ-CP ngày 20 tháng 02 năm 2006 của Chính phủ quy định chi tiết Luật Thương mại về kinh doanh dịch vụ giám định thương mại</code>
  <code>Cơ cấu tổ chức của Hội đồng phối hợp phổ biến giáo dục pháp luật Bộ Công an bao gồm những thành phần nào?</code>	<code>Cơ cấu tổ chức của Hội đồng, chế độ làm việc và con dấu của Hội đồng<br>...<br>2. Chế độ làm việc của Hội đồng<br>a) Hội đồng làm việc theo nguyên tắc thảo luận tập thể, phát huy vai trò của từng thành viên Hội đồng;<br>b) Các thành viên Hội đồng làm việc theo chế độ kiêm nhiệm;<br>c) Hội đồng họp định kỳ 2 lần/năm, họp đột xuất theo yêu cầu của Chủ tịch Hội đồng hoặc theo ý kiến của tối thiểu ½ Ủy viên Hội đồng.<br>3. Con dấu của Hội đồng<br>Hội đồng sử dụng con dấu của Bộ Công an. Trong trường hợp Phó Chủ tịch Thường trực Hội đồng ký thay Chủ tịch Hội đồng thì sử dụng con dấu của Cơ quan Thường trực Hội đồng.<br>4. Mối quan hệ giữa Hội đồng với các Tổng cục, Bộ Tư lệnh, đơn vị trực thuộc Bộ, Công an, Cảnh sát phòng cháy và chữa cháy tỉnh, thành phố trực thuộc Trung ương (Công an các đơn vị, địa phương)<br>a) Hội đồng phối hợp phổ biến, giáo dục pháp luật Bộ Công an hướng dẫn, kiểm tra hoạt động phối hợp phổ biến, giáo dục pháp luật của Công an các đơn vị, địa phương;<br>b) Công an các đơn vị, địa phương định kỳ sáu tháng, một năm có trách nhiệm báo cáo kết quả hoạt động phổ biến, giáo dục pháp luật của đơn vị, địa phương mình với Hội đồng phối hợp phổ biến, giáo dục pháp luật Bộ Công an (qua Cơ quan Thường trực Hội đồng).</code>	<code>Thông tư này hướng dẫn về nghiệp vụ để thực hiện chức năng, nhiệm vụ, quyền hạn của các tổ chức pháp chế.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• warmup_ratio: 0.1
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.45.2
• PyTorch: 2.4.0+cu121
• Accelerate: 1.0.1
• Datasets: 3.0.2
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->