BKAI_FINETUNE_LEGAL2024

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 -->
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Cán_bộ đầu_mối của Cổng thông_tin điện_tử Bộ Kế_hoạch và Đầu_tư có trách_nhiệm như thế_nào ?',
    'Trách_nhiệm của cán_bộ đầu_mối của MPI Portal 1  . Giữ mối liên_lạc thường_xuyên với đơn_vị đầu_mối về MPI Portal 2  . Tổ_chức thu_thập , biên_tập , cập_nhật và cung_cấp thông_tin về các hoạt_động nghiệp_vụ thuộc phạm_vi chức_năng , nhiệm_vụ của đơn_vị ; trình Thủ_trưởng đơn_vị phê_duyệt nội_dung thông_tin trước khi gửi cho MPI Portal .  3  . Tổng_hợp , báo_cáo Thủ_trưởng đơn_vị kịp_thời các yêu_cầu , ý_kiến của bạn_đọc ; phối_hợp với các cán_bộ , chuyên_viên của đơn_vị được giao thực_hiện trả_lời ý_kiến bạn_đọc và đơn_vị đầu_mối về MPI Portal trong việc tổ_chức thực_hiện trả_lời ý_kiến bạn_đọc',
    '1  . Cán_bộ , công_chức , viên_chức trong các cơ_quan thanh_tra nhà_nước phải làm những việc sau đây : a ) Nêu cao ý_thức trách_nhiệm phòng , chống tham_nhũng và thực_hành tiết_kiệm , chống lãng_phí trong hoạt_động thanh_tra . Thực_hiện đúng nguyên_tắc , nội_dung , thẩm_quyền , trình_tự , thủ_tục thanh_tra được quy_định trong Luật Thanh_tra , Luật_Phòng , chống tham_nhũng và các văn_bản pháp_luật khác có liên_quan ; b ) Có thái_độ thận_trọng , khách_quan , toàn_diện khi xem_xét , đánh_giá sự_việc ; lắng_nghe , tôn_trọng các ý_kiến_giải_trình hợp_lý của đối_tượng_thanh_tra , hướng_dẫn cho đối_tượng_thanh_tra hiểu và thực_hiện đúng quy_định pháp_luật ; c ) Báo_cáo với Người ra quyết_định thanh_tra hoặc Trưởng_đoàn thanh_tra khi cán_bộ , công_chức , viên_chức thanh_tra có mối quan_hệ với đối_tượng_thanh_tra có_thể ảnh_hưởng không đúng_đắn đến việc thực_hiện nhiệm_vụ , công_vụ ; báo_cáo kịp_thời với Trưởng_đoàn thanh_tra khi phát_hiện xung_đột lợi_ích trong quá_trình thực_hiện nhiệm_vụ thanh_tra ; d ) Tránh các quan_hệ xã_hội có_thể dẫn đến việc phải nhân_nhượng trong hoạt_động thanh_tra ; đ ) Kịp_thời cung_cấp thông_tin , báo_cáo với Người ra quyết_định thanh_tra hoặc Trưởng_đoàn thanh_tra khi phát_hiện các hành_vi tham_nhũng , tiêu_cực .  2  . Cán_bộ , công_chức , viên_chức trong các cơ_quan thanh_tra nhà_nước không được làm những việc sau đây : a ) Lợi_dụng danh_nghĩa cán_bộ , công_chức , viên_chức thanh_tra để thực_hiện_hành_vi trái pháp_luật ; lạm_quyền , nhũng_nhiễu , gây khó_khăn , phiền_hà cho đối_tượng_thanh_tra ; sử_dụng phương_tiện , tài_sản của đối_tượng_thanh_tra vì lợi_ích cá_nhân ; b ) Tư_vấn , môi_giới cho các tổ_chức , cá_nhân ở trong nước và nước_ngoài về các công_việc có liên_quan đến những công_việc thuộc thẩm_quyền giải_quyết của mình và các công_việc khác mà việc tư_vấn , môi_giới đó có khả_năng gây phương_hại đến lợi_ích quốc_gia , đến cơ_quan , đơn_vị ; c ) Nhận quà tặng của đối_tượng_thanh_tra dưới mọi hình_thức ; trường_hợp không từ_chối được phải báo_cáo Người ra quyết_định thanh_tra hoặc Trưởng_đoàn thanh_tra để quản_lý , xử_lý quà tặng theo quy_định của pháp_luật ; d ) Kết_luận , kiến_nghị , quyết_định xử_lý trái pháp_luật ; báo_cáo sai sự_thật ; bao_che cho người có hành_vi vi_phạm_pháp_luật ; truy_ép , gợi_ý cho đối_tượng_thanh_tra trả_lời , trình_bày sự_việc theo ý_muốn chủ_quan của mình ; đ ) Cản_trở , can_thiệp trái pháp_luật vào hoạt_động thanh_tra , hoạt_động giám_sát Đoàn thanh_tra ; tiết_lộ thông_tin , tài_liệu về nội_dung thanh_tra khi Kết_luận thanh_tra chưa được công_khai và chưa được lãnh_đạo giao theo quy_định của pháp_luật ; e ) Trả_thù , đe_dọa , trù_dập người tố_cáo các hành_vi vi_phạm của mình .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 110,094 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 17.3 tokens</li><li>max: 36 tokens</li></ul>	<ul><li>min: 15 tokens</li><li>mean: 172.63 tokens</li><li>max: 256 tokens</li></ul>

• Samples:

  anchor	positive
  <code>Tiêu_chuẩn của Kiểm_soát viên chính thị_trường là gì ?</code>	<code>Điều 6 . Kiểm_soát viên chính thị_trường ... 3 . Tiêu_chuẩn về năng_lực chuyên_môn , nghiệp_vụ : a ) Nắm vững đường_lối , chủ_trương của Đảng và pháp_luật của Nhà_nước ; hệ_thống chính_trị , hệ_thống tổ_chức các cơ_quan nhà_nước , chế_độ công_vụ công_chức và các kiến_thức , kỹ_năng chuyên_môn , nghiệp_vụ liên_quan đến chức_năng , nhiệm_vụ , quyền_hạn của lực_lượng Quản_lý thị_trường ; b ) Nắm vững tình_hình , xu_thế phát_triển của thị_trường hàng_hóa , công_tác phòng , chống buôn_lậu , gian_lận thương_mại , hàng giả và chiến_lược phát_triển của lực_lượng Quản_lý thị_trường ; c ) Có khả_năng tham_gia xây_dựng các văn_bản quy_phạm_pháp_luật , chiến_lược , kế_hoạch , chương_trình , dự_án , đề_án về tổ_chức , hoạt_động của lực_lượng Quản_lý thị_trường và hướng_dẫn , kiểm_tra , đánh_giá việc thực_hiện chế_độ , chính_sách , các quy_định về chức_năng , nhiệm_vụ , quyền_hạn của lực_lượng Quản_lý thị_trường ; d ) Có khả_năng chỉ_đạo , hướng_dẫn và thực_hiện hoạt_động kiểm_tra , thanh_tra ch...</code>
  <code>Công_ty chế biển sản_phẩm rong nho tách nước thì phải kê_khai , tính nộp thuế GTGT theo mức bao_nhiêu ?</code>	<code>Điều 10 . Thuế_suất 5 % ... 5 . Sản_phẩm trồng_trọt , chăn_nuôi , thủy_sản , hải_sản chưa qua chế_biến hoặc chỉ qua sơ_chế , bảo_quản ( hình_thức sơ_chế , bảo_quản theo hướng_dẫn tại khoản 1 Điều 4 Thông_tư này ) ở khâu kinh_doanh thương_mại , trừ các trường_hợp hướng_dẫn tại khoản 5 Điều 5 Thông_tư này . Sản_phẩm trồng_trọt chưa qua chế_biến hướng_dẫn tại khoản này bao_gồm cả thóc , gạo , ngô , khoai , sắn , lúa mỳ . "</code>
  <code>Người lao_động có 2 quyển sổ BHXH thì có được quyền rút BHXH 1 lần luôn không ?</code>	<code>Điều 27 . Cấp lại , đổi , điều_chỉnh nội_dung trên sổ BHXH , thẻ BHYT 1 . Cấp lại sổ BHXH do mất , hỏng , gộp sổ BHXH 1 . 1 . Thành_phần hồ_sơ : a ) Cấp lại sổ BHXH do mất , hỏng : Tờ khai tham_gia , điều_chỉnh thông_tin BHXH , BHYT ( Mẫu TK 1 - TS ) . b ) Gộp sổ BHXH : - Tờ khai tham_gia , điều_chỉnh thông_tin BHXH , BHYT ( Mẫu TK 1 - TS ) . - Các sổ BHXH đề_nghị gộp ( nếu có ) . 1 . 2 . Số_lượng hồ_sơ : 01 bộ . 2 . Cấp lại sổ BHXH do thay_đổi họ , tên , chữ đệm ; ngày , tháng , năm sinh ; giới_tính , dân_tộc ; quốc_tịch ; điều_chỉnh nội_dung đã ghi trên sổ BHXH 2 . 1 . Thành_phần hồ sơa ) Người tham_gia - Tờ khai tham_gia , điều_chỉnh thông_tin BHXH , BHYT ( Mẫu TK 1 - TS ) . - Hồ_sơ kèm theo ( Mục 3 , 4 Phụ_lục 01 ) . b ) Đơn_vị : Bảng kê thông_tin ( Mẫu D 01 - TS ) . 2 . 2 . Số_lượng hồ_sơ : 01 bộ .</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 12,233 evaluation samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 5 tokens</li><li>mean: 17.34 tokens</li><li>max: 43 tokens</li></ul>	<ul><li>min: 18 tokens</li><li>mean: 172.57 tokens</li><li>max: 256 tokens</li></ul>

• Samples:

  anchor	positive
  <code>Phòng Thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan thuộc Cục Điều_tra chống buôn_lậu thực_hiện chức_năng gì ?</code>	<code>CHỨC_NĂNG , NHIỆM_VỤ , QUYỀN HẠNII . Phòng Thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan ( gọi tắt là Phòng 2 ) Phòng Thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan có chức_năng tham_mưu , giúp Cục_trưởng Cục Điều_tra chống buôn_lậu trong công_tác thu_thập , xử_lý thông_tin nghiệp_vụ kiểm_soát hải_quan trong phạm_vi , nhiệm_vụ , quyền_hạn được giao ... .</code>
  <code>Hồ_sơ thăm_viếng mộ liệt_sĩ gồm những thành_phần_nào ?</code>	<code>2 . Phòng Lao_động - Thương_binh và Xã_hội tại địa_phương nơi quản_lý hồ_sơ gốc của liệt_sĩ có trách_nhiệm kiểm_tra và cấp giấy giới_thiệu thăm_viếng mộ liệt_sĩ theo Mẫu_số 42 Phụ_lục I Nghị_định này trong thời_gian 03 ngày làm_việc kể từ ngày nhận đủ giấy_tờ . 3 . Ủy_ban nhân_dân cấp xã nơi quản_lý mộ hoặc thuộc địa_phương nơi liệt_sĩ hy_sinh trong thời_gian 01 ngày làm_việc có trách_nhiệm xác_nhận vào giấy giới_thiệu thăm_viếng mộ liệt_sĩ . 4 . Người đi thăm_viếng mộ liệt_sĩ gửi giấy giới_thiệu thăm_viếng mộ liệt_sĩ đã được xác_nhận đến Phòng Lao_động - Thương_binh và Xã_hội tại địa_phương nơi quản_lý hồ_sơ gốc của liệt_sĩ để nhận hỗ_trợ . 5 . Phòng Lao_động - Thương_binh và Xã_hội tại địa_phương nơi quản_lý hồ_sơ gốc của liệt_sĩ thực_hiện chi hỗ_trợ thăm_viếng mộ liệt_sĩ trong thời_gian 02 ngày làm_việc kể từ ngày tiếp_nhận giấy giới_thiệu có xác_nhận của Ủy_ban nhân_dân cấp xã nơi thăm_viếng mộ hoặc thuộc địa_phương nơi liệt_sĩ hy_sinh .</code>
  <code>Khi thực_hiện nhiệm_vụ nếu phát_sinh vấn_đề có liên_quan đến quyền_hạn của đơn_vị khác thuộc Bộ Tư_pháp thì Cục Kế_hoạch Tài_chính có trách_nhiệm gì ?</code>	<code>Trách_nhiệm và mối quan_hệ công tácTrách nhiệm và mối quan_hệ công_tác giữa Vụ với Lãnh_đạo Bộ , các cơ_quan , đơn_vị có liên_quan thuộc các Bộ , ngành , các đơn_vị thuộc Bộ , các Sở Tư_pháp , Cục Thi_hành án dân_sự các tỉnh , thành_phố trực_thuộc Trung_ương và các tập_thể , cá_nhân có liên_quan khác được thực_hiện theo quy_định của pháp_luật , theo Quy_chế làm_việc của Bộ và các quy_định cụ_thể sau : 1 . Vụ chịu sự lãnh_đạo , chỉ_đạo trực_tiếp của Bộ_trưởng hoặc Thứ_trưởng được Bộ_trưởng phân_công phụ_trách ; có trách_nhiệm báo_cáo , kiến_nghị kịp_thời những vấn_đề thuộc thẩm_quyền giải_quyết của Lãnh_đạo Bộ , kết_quả_thực_hiện nhiệm_vụ công_tác , chương_trình , kế_hoạch thuộc phạm_vi , chức_năng của Vụ . 2 . Là đầu_mối giúp Lãnh_đạo Bộ thực_hiện quan_hệ công_tác với Bộ , ngành , địa_phương và các cơ_quan , tổ_chức khác có liên_quan trong lĩnh_vực thuộc phạm_vi chức_năng của Vụ . 3 . Trong quá_trình triển_khai thực_hiện nhiệm_vụ , quyền_hạn quy_định tại Điều 2 của Quyết_định n...</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 7
• warmup_ratio: 0.1
• warmup_steps: 50
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 7
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 50
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->