ft_bge_newLaw_ContrastiveLoss_V1_5epochs

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision babcf60cae0a1f438d7ade582983d4ba462303c2 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_ContrastiveLoss_V1_5epochs")
# Run inference
sentences = [
    'Cục Xuất nhập khẩu thuộc phạm vi quản lý nhà nước của cơ quan nào?',
    'Vị trí và chức năng\n1. Cục Xuất nhập khẩu là tổ chức thuộc Bộ Công Thương, thực hiện chức năng tham mưu, giúp Bộ trưởng Bộ Công Thương quản lý nhà nước và tổ chức thực thi pháp luật trong lĩnh vực hoạt động xuất khẩu, nhập khẩu hàng hóa, xuất xứ hàng hóa, mua bán hàng hóa quốc tế, đại lý mua, bán, gia công và quá cảnh hàng hóa với nước ngoài, thuộc phạm vi quản lý nhà nước của Bộ Công Thương.\n2. Cục Xuất nhập khẩu có tư cách pháp nhân, con dấu và tài khoản riêng theo quy định của pháp luật; kinh phí hoạt động do ngân sách nhà nước cấp và từ các khoản thu phí, lệ phí theo quy định của Nhà nước.\nCục Xuất nhập khẩu có tên giao dịch quốc tế bằng tiếng Anh: Agency of Foreign Trade.\nTên viết tắt: AFT.\nTrụ sở chính tại thành phố Hà Nội.',
    '"Điều 112. Nghỉ lễ, tết\n1. Người lao động được nghỉ làm việc, hưởng nguyên lương trong những ngày lễ, tết sau đây:\na) Tết Dương lịch: 01 ngày (ngày 01 tháng 01 dương lịch);\nb) Tết Âm lịch: 05 ngày;\nc) Ngày Chiến thắng: 01 ngày (ngày 30 tháng 4 dương lịch);\nd) Ngày Quốc tế lao động: 01 ngày (ngày 01 tháng 5 dương lịch);\nđ) Quốc khánh: 02 ngày (ngày 02 tháng 9 dương lịch và 01 ngày liền kề trước hoặc sau);\ne) Ngày Giỗ Tổ Hùng Vương: 01 ngày (ngày 10 tháng 3 âm lịch).\n2. Lao động là người nước ngoài làm việc tại Việt Nam ngoài các ngày nghỉ theo quy định tại khoản 1 Điều này còn được nghỉ thêm 01 ngày Tết cổ truyền dân tộc và 01 ngày Quốc khánh của nước họ.\n3. Hằng năm, căn cứ vào điều kiện thực tế, Thủ tướng Chính phủ quyết định cụ thể ngày nghỉ quy định tại điểm b và điểm đ khoản 1 Điều này."',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 10,524 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	<ul><li>min: 8 tokens</li><li>mean: 24.48 tokens</li><li>max: 46 tokens</li></ul>	<ul><li>min: 32 tokens</li><li>mean: 283.82 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>0: ~50.00%</li><li>1: ~50.00%</li></ul>

• Samples:

  sentence1	sentence2	label
  <code>Hồ sơ đề nghị xét cấp lại giấy phép lái xe quá hạn gồm những gì?</code>	<code>"Điều 36. Cấp lại giấy phép lái xe<br>1. Người có giấy phép lái xe quá thời hạn sử dụng<br>a) Từ 03 tháng đến dưới 01 năm, kể từ ngày hết hạn, phải sát hạch lại lý thuyết để cấp lại giấy phép lái xe;<br>b) Từ 01 năm trở lên, kể từ ngày hết hạn, phải sát hạch lại cả lý thuyết và thực hành để cấp lại giấy phép lái xe.<br>Hồ sơ dự sát hạch lại thực hiện theo quy định tại khoản 3 Điều 19 của Thông tư này.<br>2. Người có giấy phép lái xe bị mất, còn thời hạn sử dụng hoặc quá thời hạn sử dụng dưới 03 tháng, được xét cấp lại giấy phép lái xe.<br>Hồ sơ bao gồm:<br>a) Đơn đề nghị cấp lại giấy phép lái xe theo mẫu quy định tại Phụ lục 19 ban hành kèm theo Thông tư này;<br>b) Hồ sơ gốc phù hợp với giấy phép lái xe (nếu có);<br>c) Giấy khám sức khỏe của người lái xe do cơ sở y tế có thẩm quyền cấp theo quy định, trừ trường hợp cấp lại giấy phép lái xe không thời hạn các hạng A1, A2, A3;<br>d) Bản sao giấy chứng minh nhân dân hoặc thẻ căn cước công dân hoặc hộ chiếu còn thời hạn có ghi số giấy chứng minh nhân dân hoặc thẻ căn cước công dân (đối với người Việt Nam) hoặc hộ chiếu còn thời hạn sử dụng (đối với người nước ngoài, người Việt Nam định, cư ở nước ngoài).<br>Khi đến thực hiện thủ tục cấp lại giấy phép lái xe tại Tổng cục Đường bộ Việt Nam hoặc Sở Giao thông vận tải, người lái xe gửi 01 bộ hồ sơ, chụp ảnh trực tiếp và xuất trình, bản chính các hồ sơ nêu trên (trừ các bản chính đã gửi) để đối chiếu. Sau thời gian 02 tháng kể từ ngày nộp đủ hồ sơ, chụp ảnh và nộp lệ phí theo quy định, nếu không phát hiện giấy phép lái xe đang bị các cơ quan có thẩm quyền thu giữ, xử lý; có tên trong hồ sơ của cơ quan quản lý sát hạch, thì được cấp lại giấy phép lái xe.<br>3. Người có giấy phép lái xe bị mất, quá thời hạn sử dụng từ 03 tháng trở lên, có tên trong hồ sơ của cơ quan quản lý sát hạch, không thuộc trường hợp đang bị các cơ quan có thẩm quyền thu giữ, xử lý, sau 02 tháng kể từ ngày nộp đủ hồ sơ hợp lệ theo quy định, phải dự sát hạch lại các nội dung:<br>a) Quá hạn sử dụng từ 03 tháng đến dưới 01 năm, phải dự sát hạch lại lý thuyết;<br>b) Quá hạn sử dụng từ 01 năm trở lên, phải sát hạch lại cả lý thuyết và thực hành.<br>Hồ sơ dự sát hạch lại thực hiện theo quy định, tại khoản 4 Điều 19 của Thông tư này.<br>5. Ngày trúng tuyển ghi tại mặt sau giấy phép lái xe cấp lại (phục hồi), được tính theo ngày trúng tuyển của giấy phép lái xe cũ.<br>6. Thời gian cấp lại giấy phép lái xe thực hiện như đối với cấp mới.<br>7. Người dự sát hạch lại có nhu cầu ôn tập, đăng ký với các cơ sở đào tạo lái xe để được hướng dẫn ôn tập, phải nộp phí ôn tập theo quy định, không phải học lại theo chương trình đào tạo."</code>	<code>1</code>
  <code>Việc nhận xét và đánh giá đối với công chức cấp Trung ương luân chuyển được thực hiện khi nào?</code>	<code>Cấp độ thành tích khen thưởng để xét nâng bậc lương trước thời hạn do lập thành tích xuất sắc:<br>1. Đối tượng quy định tại Khoản 1 Điều 1 Quy chế này được tặng thưởng một trong các hình thức dưới đây thì được xét nâng bậc lương trước thời hạn mười hai (12) tháng, gồm:<br>a) Huân chương, huy chương, Vinh dự nhà nước, giải thưởng Hồ Chí Minh, giải nhà nước theo quy định của Luật Thi đua khen thưởng.<br>b) Chiến sỹ thi đua toàn quốc.<br>c) Bằng khen của Thủ tướng Chính phủ.<br>d) Thẩm phán mẫu mực, Thẩm phán tiêu biểu, Thẩm phán giỏi.<br>đ) Chiến sĩ thi đua Tòa án nhân dân.<br>e) Chiến sĩ thi đua cấp tỉnh.<br>g) Được tặng 02 bằng khen trở lên của Chánh án Tòa án nhân dân tối cao hoặc 01 bằng khen của Chánh án Tòa án nhân dân tối cao và 01 bằng khen của Bộ trưởng các Bộ, Ban, ngành Trung ương, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương (đối với 02 thành tích khác nhau).<br>2. Đối tượng quy định tại Khoản 1 Điều 1 Quy chế này được tặng thưởng một trong các hình thức dưới đây thì được xét nâng bậc lương trước thời hạn chín (09) tháng, gồm:<br>a) Bằng khen của Chánh án Tòa án nhân dân tối cao;<br>b) Bằng khen của Bộ, Ban, ngành Trung ương, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương.<br>c) Ba (03) năm liên tiếp đạt danh hiệu Chiến sỹ thi đua cơ sở;<br>3. Đối tượng quy định tại Khoản 1 Điều 1 Quy chế này được tặng thưởng một trong các hình thức dưới đây thì được xét nâng bậc lương trước thời hạn sáu (06) tháng, gồm:<br>a) Hai (02) năm liên tiếp đạt danh hiệu chiến sỹ thi đua cơ sở;<br>b) Ba (03) năm liên tiếp được tặng giấy khen của Chánh án Tòa án nhân dân tối cao, Chánh án Tòa án nhân dân cấp cao, Chánh án Tòa án nhân dân cấp tỉnh.</code>	<code>0</code>
  <code>Người thực tập nghiệp vụ đăng kiểm viên xe cơ giới phải đáp ứng các điều kiện gì?</code>	<code>"Điều 3. Thực tập nghiệp vụ đăng kiểm viên xe cơ giới<br>Người thực tập nghiệp vụ đăng kiểm viên xe cơ giới (sau đây gọi là đăng kiểm viên thực tập) đáp ứng các quy định tại điểm a và d khoản 1 Điều 14 của Nghị định số 139/2018/NĐ-CP được tập huấn lý thuyết nghiệp vụ và thực hành kiểm định xe cơ giới trong thời gian tối thiểu 12 tháng."</code>	<code>1</code>

• Loss: <code>ContrastiveLoss</code> with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.39.3
• PyTorch: 2.1.2
• Accelerate: 0.29.3
• Datasets: 2.18.0
• Tokenizers: 0.15.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->