bge-m3-vi-tune

SentenceTransformer based on Adc05102002/bge-m3-vi-base

This is a sentence-transformers model finetuned from Adc05102002/bge-m3-vi-base on the train dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Adc05102002/bge-m3-vi-base <!-- at revision 2462961abc32fc7735266ed16248aceebfd35222 -->
• Maximum Sequence Length: 4026 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Dataset:
  • train

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'PeftModelForFeatureExtraction'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Adc05102002/bge-m3-vi-tune")
# Run inference
sentences = [
    'Quản lý và sử dụng Quỹ Thi đua, Khen thưởng ngành Văn hóa, Thể thao và Du lịch được quy định như thế nào?',
    'Điều 67. Quản lý quỹ thi đua, khen thưởng\n\n\tKhoản 1. Quỹ thi đua, khen thưởng của cấp nào do cơ quan thi đua, khen thưởng phối hợp với cơ quan tài chính cấp đó quản lý. Đối với cấp tỉnh, nguồn kinh phí chi cho công tác thi đua, khen thưởng do Ban Thi đua - Khen thưởng của tỉnh phối hợp với cơ quan tài chính cấp tỉnh quản lý và sử dụng theo tỷ lệ quy định trên cơ sở dự toán; việc quyết toán căn cứ số chi thực tế theo đúng chế độ, chính sách quy định.\n\n\tKhoản 2. Thủ trưởng cơ quan các cấp chịu trách nhiệm chi tiền thưởng cho các tập thể, cá nhân thuộc biên chế, quỹ lương do cấp mình quản lý và hạch toán chi theo quy định.\nCác tập thể, cá nhân thuộc bộ, ban, ngành, đoàn thể trung ương, tỉnh, thành phố trực thuộc trung ương được Thủ tướng Chính phủ, Chủ tịch nước quyết định khen thưởng thì bộ, ban, ngành, tỉnh, đoàn thể trung ương đó có trách nhiệm chi thưởng từ ngân sách nhà nước của cấp mình và hạch toán chi thành mục riêng.\nCá nhân được nhận danh hiệu Nhà giáo, Thầy thuốc, Nghệ sỹ, Nghệ nhân (nhân dân và ưu tú) thuộc bộ, ban, ngành, tỉnh, đoàn thể trung ương trình Thủ tướng Chính phủ xét, phong tặng thì bộ, ban, ngành, tỉnh, đoàn thể trung ương đó chi trả tiền thưởng và hạch toán chi thành mục riêng.',
    'phần đường, làn đường, không giữ khoảng cách an toàn giữa hai xe theo quy định gây tai nạn giao thông hoặc đi vào đường có biển báo hiệu có nội dung cấm đi vào đối với loại phương tiện đang điều khiển, đi ngược chiều của đường một chiều, đi ngược chiều trên đường có biển \n\t\t\t“Cấm đi ngược chiều”\n gây tai nạn giao thông, trừ các hành vi vi phạm quy định tại điểm a khoản 8 Điều này;\n\n\t\tĐiểm b) Điều khiển xe lạng lách, đánh võng; chạy quá tốc độ đuổi nhau trên đường bộ; dùng chân điều khiển vô lăng xe khi xe đang chạy trên đường;\n\n\t\tĐiểm c) Điều khiển xe chạy quá tốc độ quy định trên 35 km/h.\n\n\tKhoản 8. Phạt tiền từ 1\n\tKhoản 000.000 đồng đến 1\n\t\tĐiểm a) Điều khiển xe đi ngược chiều trên đường cao tốc, lùi xe trên đường cao tốc, trừ các xe ưu tiên đang đi làm nhiệm vụ khẩn cấp theo quy định;\n\n\t\tĐiểm b) Gây tai nạn giao thông không dừng lại, không giữ nguyên hiện trường, bỏ trốn không đến trình báo với cơ quan có thẩm quyền, không tham gia cấp cứu người bị nạn;\n\n\t\tĐiểm c) Điều khiển xe trên đường mà trong máu hoặc hơi thở có nồng độ cồn vượt quá 50 miligam đến 80 miligam/100 mililít máu hoặc vượt quá 0,25 miligam đến 0,4 miligam/1 lít khí thở.\n\n\tKhoản 9. Phạt tiền từ 1\n\tKhoản 000.000 đồng đến \n\tKhoản 000.000 đồng đối với hành vi vi phạm quy định tại điểm b khoản 7 Điều này mà không chấp hành hiệu lệnh dừng xe của người thi hành công vụ hoặc gây tai nạn giao thông.\n\n\tKhoản 10. Phạt tiền từ \n\tKhoản 000.000 đồng đến \n\t\tĐiểm a) Điều khiển xe trên đường mà trong máu hoặc hơi thở có nồng độ cồn vượt quá 80 miligam/100 mililít máu hoặc vượt quá 0,4 miligam/1 lít khí thở;\n\n\t\tĐiểm b) Không chấp hành yêu cầu kiểm tra về nồng độ cồn của người thi hành công vụ;\n\n\t\tĐiểm c) Điều khiển xe trên đường mà trong cơ thể có chất ma túy;\n\n\t\tĐiểm d) Không chấp hành yêu cầu kiểm tra về chất ma túy của người thi hành công vụ.\n\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.5005, -0.1257],
#         [ 0.5005,  1.0000, -0.2017],
#         [-0.1257, -0.2017,  1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

train

• Dataset: train at c13b061

• Size: 5,516 training samples

• Columns: <code>anchor</code> and <code>positive</code>

• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 10 tokens</li><li>mean: 31.22 tokens</li><li>max: 57 tokens</li></ul>	<ul><li>min: 72 tokens</li><li>mean: 610.9 tokens</li><li>max: 1219 tokens</li></ul>

• Samples:

  anchor	positive
  <code>Công an xã xử phạt lỗi không mang bằng lái xe có đúng không?</code>	<code>Điều 7. Nhiệm vụ của lực lượng Cảnh sát khác và Công an xã

  Khoản 1. Bố trí lực lượng tham gia tuần tra, kiểm soát trật tự, an toàn giao thông theo kế hoạch.

  Khoản 2. Thống kê, báo cáo các vụ, việc vi phạm pháp luật, tai nạn giao thông đường bộ; kết quả tuần tra, kiểm soát và xử lý vi phạm hành chính về trật tự, an toàn giao thông đường bộ theo sự phân công trong kế hoạch.

  Khoản 3. Trường hợp không có lực lượng Cảnh sát giao thông đi cùng thì lực lượng Cảnh sát khác và Công an xã thực hiện việc tuần tra, kiểm soát theo kế hoạch đã được cấp có thẩm quyền phê duyệt.

  Khoản 4. Lực lượng Công an xã chỉ được tuần tra, kiểm soát trên các tuyến đường liên xã, liên thôn thuộc địa bàn quản lý và xử lý các hành vi vi phạm trật tự, an toàn giao thông sau: điều khiển xe mô tô, xe gắn máy không đội mũ bảo hiểm, chở quá số người quy định, chở hàng hóa cồng kềnh; đỗ xe ở lòng đường trái quy định; điều khiển phương tiện phóng nhanh, lạng lách, đánh võng, tháo ống xả, không có gương chiếu hậu hoặ...</code> | | <code>Phải thực hiện thao tác nạp mẫu vào bình chứa và xử lý mẫu sơ bộ bằng hóa chất như thế nào?</code> | <code>Điều 11. Tiến hành lấy, bảo quản mẫu

    Điểm a) Dọn sạch khu vực đã chọn làm điểm thu mẫu để loại bỏ các cặn, bùn, các lớp vi khuẩn ở trên thành cống thải, vật nổi trên mặt nước. Nếu dòng thải không có điều kiện chảy rối thì thực hiện như khoản 3 Điều 
    Điểm b) Kiểm tra lại độ sạch của các bình chứa mẫu, dụng cụ lấy và chứa mẫu trung gian. Rà soát và chuẩn bị các dụng cụ và hóa chất để xử lý sơ bộ. Kiểm tra và chuẩn bị vật tư niêm phong. Chuẩn bị các trang thiết bị bảo hộ và các điều kiện cần thiết khác (có thể ghi và dán nhãn mẫu vào thời điểm này);
  
    Điểm c) Lắp dụng cụ lấy mẫu (nối cán của cây lấy mẫu, buộc dây gàu), mặc bảo hộ lao động và các thiết bị bảo đảm an toàn khác.
  
    Điểm a) Việc lấy mẫu phải có mặt chủ nguồn thải hoặc người đại diện của cơ sở có nguồn thải. Trường hợp chủ nguồn thải hoặc người đại diện vắng mặt hoặc không hợp tác thì trưởng đoàn công tác có trách nhiệm lập biên bản về sự vắng mặt hoặc không hợp tác và phải có người chứng kiến việc lấy mẫu;
  
    Điểm b) Tr...</code> |
  

  | <code>Trình tự đánh giá chất lượng hàng năm đối với Kiểm soát viên được quy định như thế nào?</code> | <code>Điều 13. Trình tự, thủ tục đánh giá

    Điểm a) Người quản lý doanh nghiệp nhà nước viết bản tự nhận xét, đánh giá theo nội dung, tiêu chí đánh giá và tự nhận mức độ xếp loại chất lượng;
  
    Điểm b) Hội đồng thành viên họp nhận xét, đánh giá đối với người quản lý doanh nghiệp. Cuộc họp đánh giá, xếp loại chất lượng được ghi thành biên bản, trong đó nêu rõ thành phần tham dự, các ý kiến tham gia;
  
    Điểm c) Lấy ý kiến bằng văn bản về đánh giá, xếp loại chất lượng người quản lý doanh nghiệp của cấp ủy cùng cấp;
  
    Điểm d) Trên cơ sở ý kiến của cấp ủy cùng cấp, Hội đồng thành viên hoặc Chủ tịch công ty xem xét, quyết định đánh giá, xếp loại chất lượng đối với người quản lý doanh nghiệp theo thẩm quyền hoặc báo cáo kết quả đánh giá, xếp loại chất lượng Chủ tịch Hội đồng thành viên, thành viên Hội đồng thành viên, Chủ tịch công ty gửi cơ quan đại diện chủ sở hữu xem xét, quyết định.
  
    Điểm a) Kiểm soát viên viết bản tự nhận xét, đánh giá và tự nhận mức độ xếp loại chất lượng gửi đến cơ quan ...</code> |
  

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 5
• learning_rate: 3e-05
• lr_scheduler_type: constant_with_warmup
• warmup_steps: 0.03
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 32
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 3e-05
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: None
• warmup_steps: 0.03
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Training Time

• Training: 2.7 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.5.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.3.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->