mrnl_bge-m3

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/mrnl_bge-m3")
# Run inference
sentences = [
    'Menu phân hệ nằm ở đâu trong hệ thống để chọn phân hệ KPI?',
    'PHÂN HỆ KPI\nCách truy cập vào phân hệ KPI\nCách 1: Truy cập nhanh bằng đường link Truy cập phân hệ KPI\nCách 2: Đăng nhập vào hệ thống. Tại menu phân hệ, chọn phân hệ KPI\nTại đây, người dùng có thể tiến hành các thao tác như thiết lập, theo dõi và báo cáo hiệu suất công việc thông qua các chỉ số KPI đã được định nghĩa sẵn hoặc tạo mới.\ntruy cập vào phân hệ KPI\nTìm hiểu thêm tại trung tâm hỗ trợ 1Office',
    'Công việc theo quy trình\nQuản lý công việc quy trình\nTrường dữ liệu: Cập nhật thời gian Đối với công việc quy trình cha, khi đang ở trạng thái Đang chờ, người quản lý có thể cập nhật lại thời gian dự kiến.. \nĐối với bước công việc trong quy trình, Người quản lý/Người thực hiện có thể cập nhật thời gian nếu trong quy trình mẫu cài đặt cho phép., Người sử dụng: Người quản lý. \nTrường dữ liệu: Thêm tài liệu Người dùng có thể tải trực tiếp hoặc thêm từ drive, Người sử dụng: Người quản lý\nTrường dữ liệu: Liên kết Tạo mới liên quan: Người dùng có thể tạo mới các đối tượng liên quan liên kết với quy trình.\nLiên kết đối tượng: Chọn và liên kết các đối tượng có sẵn, Người sử dụng: Người quản lý\nLưu ý: Hiện tại, trên phần mềm 1Office, người dùng có thể theo dõi công việc quy trình theo màn hình Danh sách . Tại màn hình này, người dùng có thể: Xử lý công việc nhanh gọn:\xa0 Cho phép thực hiện các tác vụ cần thiết ngay tại màn hình danh sách công việc quy trình mà không cần mở từng chi tiết quy trình\nTheo dõi tiến độ và trạng thái của các công việc trong quy trình một cách trực quan.\nDễ dàng lọc, tìm kiếm và sắp xếp công việc theo các trường dữ liệu. Tìm hiều thêm tại trung tâm hỗ trợ 1Office',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

json

• Dataset: json
• Size: 7,276 training samples
• Columns: <code>question</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	question	positive
  type	string	string
  details	<ul><li>min: 9 tokens</li><li>mean: 24.77 tokens</li><li>max: 59 tokens</li></ul>	<ul><li>min: 31 tokens</li><li>mean: 211.66 tokens</li><li>max: 439 tokens</li></ul>

• Samples:

  question	positive
  <code>Nếu một công việc bị bôi màu, tôi nên liên hệ với bộ phận nào để tìm hiểu thêm về cảnh báo đó?</code>	<code>Vì sao trên danh sách công việc lại hiển thị màu chữ hoặc màu nền trên các công việc?<br><br>Có thể hệ thống được được cài đặt cảnh báo thông minh cho công việc nên trên danh sách sẽ bị bôi màu.<br>Bạn có thể di chuột vào công việc bị bôi màu để xem thông báo. Và báo với bộ phận quản trị Admin để hỏi thêm thông tin chi tiết về cảnh báo.</code>
  <code>Trong quá trình nhập hồ sơ ứng viên từ file Excel, sau khi chọn các 'Trường dữ liệu trên phần mềm', tôi cần làm gì tiếp theo để liên kết chúng với dữ liệu trong các cột của file Excel?</code>	<code>Hồ sơ ứng viên<br>Tạo mới hồ sơ ứng viên<br>Điền thông tin Từ hàng đến Đến hàng : Chọn hàng bắt đầu và kết thúc chứa dữ liệu muốn import trong file excel, nếu để trống trường Đến hàng thì hệ thống sẽ import đến hàng cuối cùng chứa dữ liệu trong file excel. <br>Chọn các Trường dữ liệu trên phần mềm > Sau đó chọn cột chứa dữ liệu tương ứng trong file.. <br>Sau đó chọn Cập nhật , hệ thống sẽ ở màn hình chờ<br>màn hình import hồ sơ ứng viên<br>Sau khi quá trình import hoàn thành, bạn có thể biết được ứng viên nào đã được đưa lên hệ thống thành công, ứng viên nào bị lỗi thông qua màn hình Chi tiết import Hồ sơ ứng viên<br>lịch sử import hồ sơ ứng viên</code>
  <code>Sau khi chọn quy trình cần thực hiện, tôi phải làm gì để chuyển sang bước tiếp theo?</code>	<code>Công việc theo quy trình<br>Thực hiện công việc trên quy trình<br>Sau khi công việc quy trình được thiết lập, những người liên quan đến công việc sẽ nhận được thông báo và tiến hành thực hiện công việc theo quy trình.<br>1. Truy cập phân hệ Quy trình<br>2. Tại danh sách công việc quy trình, Chọn quy trình cần thực hiện<br>3. Next bước cần thực hiện trên quy trình<br>Thực hiện next bước công việc quy trình<br>Lưu ý: Nếu bước công việc chưa có người thực hiện, người quản lý có thể thêm người thực hiện</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 7,276 evaluation samples
• Columns: <code>question</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	question	positive
  type	string	string
  details	<ul><li>min: 9 tokens</li><li>mean: 25.13 tokens</li><li>max: 64 tokens</li></ul>	<ul><li>min: 37 tokens</li><li>mean: 210.41 tokens</li><li>max: 443 tokens</li></ul>

• Samples:

  question	positive
  <code>Với vai trò trưởng bộ phận, làm sao để tôi có cái nhìn tổng quan về đánh giá cũng như thực hiện đúng nhiệm vụ của mình?</code>	<code>PHÂN HỆ ĐÁNH GIÁ<br>Những gì bạn có thể làm<br>Theo dõi các tính năng/tác vụ đánh giá theo đúng vai trò sẽ giúp các bộ phận có cái nhìn tổng quan về đánh giá cũng như thực hiện đúng nhiệm vụ của mình. Đảm bảo tính độc lập trong quy trình quản lý và đánh giá nhân sự.<br>Tính năng/Tác vụ: Thiết lập tiêu chí đánh giá Xây dựng bộ tiêu chí đánh giá dựa trên các loại tiêu chí đánh giá, Người sử dụng: Ban lãnh đạo/Trưởng phòng hành chính nhân sự<br>Tính năng/Tác vụ: Quản lý mẫu đánh giá Xây dựng mẫu đánh giá với các tiêu chí đặc trưng cho từng vị trí trong doanh nghiệp, Người sử dụng: Bộ phận hành chính nhân sự<br>Tính năng/Tác vụ: Quản lý phiếu đánh giá Quản lý phiếu đánh giá định kỳ và người thực hiện đánh giá, Người sử dụng: Bộ phận hành chính nhân sự<br>Tính năng/Tác vụ: Thực hiện đánh giá, Người sử dụng: Trưởng bộ phận/Nhân viên<br>Tìm hiểu thêm tại trung tâm hỗ trợ 1Office</code>
  <code>Tính năng 'Form báo cáo' trong quy trình mẫu cho phép người dùng làm gì?</code>	<code>Quản lý quy trình mẫu<br>Tạo mới quy trình mẫu<br>1. Truy cập phân hệ Văn bản<br>2. Ở trên cùng bên trái, chọn Tạo mới Quy trình mẫu<br>Bảng mô tả các node trong thiết lập quy trình mẫu:<br>Trường dữ liệu: Node bước xử lý, Mô tả: Cho phép cài đặt thông tin liên quan đến việc xử lý trong quy trình xử lý văn bản, mỗi bước sẽ có người chủ trì và người xử lý thông tin riêng<br>Trường dữ liệu: Node chuyển tiếp, Mô tả: Cho phép người dùng thực hiện thao tác chuyển xử lý sang bước tiếp theo<br>Trường dữ liệu: Node hành động, Mô tả: Cài đặt các thao tác thủ công của người dùng để thực hiện bước công việc. Ví dụ: Xác nhận, Không xác nhận ...<br>Trường dữ liệu: Node  trình và ký, Mô tả: Cho phép người dùng cài đặt hồ sơ ký số và thực hiện ký số trên quy trình xử lý văn bản<br>Trường dữ liệu: Node trạng thái, Mô tả: Cho phép người dùng cập nhật trạng thái của bước xử lý: Hoàn thành<br>Tạm dừng<br>Hủy<br>Trường dữ liệu: Node gửi email, Mô tả: Cho phép người dùng cài đặt gửi email trực tiếp trên quy trình xử lý văn bản<br>Trường dữ liệu: Form báo cáo, Mô tả: Tính năng tùy chỉnh form trong quy trình công việc mẫu, cho phép người dùng tự cấu hình các trường hiển thị trong các bước xử lý công việc</code>
  <code>Sau khi tải plugin ký số về, tôi cần làm gì với file nén này?</code>	<code>Ký token là gì? Để ký token, cần làm gì?<br><br>Ký token là một thuật ngữ thường được sử dụng để chỉ chữ ký số hoặc chứng thư số. Đây là một dạng chữ ký điện tử được tạo ra dựa trên các thuật toán mã hóa phức tạp, có giá trị pháp lý tương đương với chữ ký viết tay trên giấy. Chữ ký số thường được lưu trữ và quản lý trên một thiết bị vật lý như USB, thẻ thông minh, hoặc một thiết bị di động có chức năng tương tự. Thiết bị này được gọi là token.<br>Để ký bằng token, người dùng cần:<br>Download plugin hỗ trợ ký số tại đây .<br>Giải nén và cài đặt plugin<br>Cắm USB Token vào máy tính và bấm "Ký Token"</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 8
• weight_decay: 0.01
• num_train_epochs: 10
• lr_scheduler_type: cosine
• warmup_ratio: 0.05
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 8
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.8.10
• Sentence Transformers: 3.2.1
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu124
• Accelerate: 1.0.1
• Datasets: 2.19.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->