VN-Law-Embedding

VN-Law Embedding Improved

This is a sentence-transformers model finetuned from truro7/vn-law-embedding on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: truro7/vn-law-embedding <!-- at revision 96774e495327a2eabfff428e26f9c963bda0dfa6 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: vi
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("VN-Law-Embedding")
# Run inference
sentences = [
    '{"question": "Người sử dụng lao động có phải thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động không?"},',
    '{"answer": "Có. Luật pháp Việt Nam quy định rõ ràng rằng người sử dụng lao động **phải** thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động tại cơ sở.\n\n**Căn cứ pháp lý chính:**\n\n* **Bộ luật Lao động 2019:**  Điều 63 và Điều 64 quy định chi tiết về đối thoại tại nơi làm việc.\n\n**Nội dung chính của quy định này:**\n\n* **Đối thoại định kỳ:** Người sử dụng lao động phải tổ chức đối thoại định kỳ với người lao động và tổ chức đại diện người lao động (nếu có).  Thời gian đối thoại định kỳ được quy định cụ thể trong Bộ luật Lao động và các văn bản hướng dẫn.\n* **Đối thoại khi có yêu cầu:**  Ngoài đối thoại định kỳ, người sử dụng lao động cũng phải đối thoại khi có yêu cầu từ người lao động hoặc tổ chức đại diện người lao động.\n* **Nội dung đối thoại:**  Nội dung đối thoại rất rộng, bao gồm nhiều vấn đề liên quan đến quan hệ lao động, như:\n    * Tình hình sản xuất, kinh doanh của doanh nghiệp.\n    * Việc thực hiện hợp đồng lao động, thỏa ước lao động tập thể, nội quy lao động, quy chế và các cam kết, thỏa thuận khác tại nơi làm việc.\n    * Điều kiện làm việc.\n    * Yêu cầu của người lao động, tổ chức đại diện người lao động đối với người sử dụng lao động.\n    * Các nội dung khác mà hai bên quan tâm.\n* **Mục đích của đối thoại:**\n    * Tăng cường sự hiểu biết giữa người sử dụng lao động và người lao động.\n    * Xây dựng quan hệ lao động hài hòa, ổn định và tiến bộ.\n    * Ngăn ngừa và giải quyết các tranh chấp lao động.\n    * Thực hiện dân chủ tại nơi làm việc.\n\n**Tổ chức đại diện người lao động:**\n\n* Tổ chức đại diện người lao động có thể là Công đoàn cơ sở hoặc tổ chức của người lao động tại doanh nghiệp (nếu được thành lập hợp pháp theo quy định của pháp luật).\n* Vai trò của tổ chức đại diện người lao động rất quan trọng trong đối thoại, trao đổi, bảo vệ quyền và lợi ích hợp pháp, chính đáng của người lao động.\n\n**Tóm lại:**\n\nViệc thiết lập cơ chế và thực hiện đối thoại, trao đổi với người lao động và tổ chức đại diện người lao động là **nghĩa vụ pháp lý** của người sử dụng lao động tại Việt Nam. Đây là một công cụ quan trọng để xây dựng quan hệ lao động tốt đẹp, đảm bảo quyền lợi của người lao động và sự phát triển bền vững của doanh nghiệp.\n\nĐể có thông tin chi tiết và chính xác nhất, bạn nên tham khảo trực tiếp **Bộ luật Lao động 2019** và các văn bản hướng dẫn liên quan."}',
    'Theo quy định pháp luật hiện hành của Việt Nam, **không có quy định bắt buộc** trọng tài viên lao động phải tham gia một khóa đào tạo cụ thể nào trước khi hành nghề.\n\nTuy nhiên, để trở thành một trọng tài viên lao động có năng lực và chuyên nghiệp, việc tham gia các khóa đào tạo, bồi dưỡng kiến thức và kỹ năng về pháp luật lao động, kỹ năng giải quyết tranh chấp, kỹ năng trọng tài là **rất quan trọng và được khuyến khích.**\n\n**Giải thích chi tiết hơn:**\n\n* **Pháp luật không quy định bắt buộc:**  Hiện tại, Luật Hòa giải, đối thoại tại Tòa án và các văn bản pháp luật liên quan đến trọng tài lao động không quy định cụ thể về việc trọng tài viên lao động phải có chứng chỉ hay hoàn thành khóa đào tạo nào.  Điều kiện để trở thành Trọng tài viên lao động thường tập trung vào kinh nghiệm, kiến thức và uy tín trong lĩnh vực lao động.\n\n* **Khuyến khích đào tạo để nâng cao năng lực:** Mặc dù không bắt buộc, nhưng việc tham gia các khóa đào tạo mang lại nhiều lợi ích thiết thực cho trọng tài viên lao động:\n    * **Cập nhật kiến thức pháp luật:** Pháp luật lao động liên tục thay đổi và phát triển. Các khóa đào tạo giúp trọng tài viên cập nhật những quy định mới nhất, đảm bảo áp dụng pháp luật chính xác trong quá trình giải quyết tranh chấp.\n    * **Nâng cao kỹ năng chuyên môn:** Các khóa đào tạo thường trang bị các kỹ năng cần thiết cho trọng tài viên như:\n        * **Kỹ năng hòa giải, thương lượng:**  Giúp trọng tài viên hướng dẫn các bên tranh chấp tìm ra giải pháp hòa bình, tự nguyện.\n        * **Kỹ năng điều hành phiên họp trọng tài:** Đảm bảo phiên họp diễn ra hiệu quả, công bằng và đúng trình tự.\n        * **Kỹ năng phân tích, đánh giá chứng cứ:**  Giúp trọng tài viên đưa ra phán quyết khách quan, dựa trên cơ sở pháp lý và chứng cứ xác thực.\n        * **Kỹ năng soạn thảo phán quyết trọng tài:**  Đảm bảo phán quyết rõ ràng, dễ hiểu, có tính khả thi và tuân thủ pháp luật.\n    * **Mở rộng mạng lưới chuyên môn:** Các khóa đào tạo là cơ hội để trọng tài viên gặp gỡ, trao đổi kinh nghiệm với các đồng nghiệp, chuyên gia trong lĩnh vực lao động.\n    * **Nâng cao uy tín cá nhân:** Việc có chứng chỉ đào tạo hoặc tham gia các khóa học uy tín có thể giúp trọng tài viên nâng cao uy tín và được các bên tranh chấp tin tưởng hơn.\n\n**Các loại hình đào tạo mà trọng tài viên lao động có thể tham gia:**\n\n* **Khóa đào tạo do các Trung tâm Trọng tài Lao động tổ chức:**  Các trung tâm trọng tài thường xuyên tổ chức các khóa đào tạo chuyên sâu về trọng tài lao động, mời các chuyên gia, luật sư, thẩm phán có kinh nghiệm giảng dạy.\n* **Khóa đào tạo do các trường đại học, viện nghiên cứu tổ chức:**  Các cơ sở đào tạo này có thể tổ chức các khóa học ngắn hạn, dài hạn về pháp luật lao động, giải quyết tranh chấp, kỹ năng trọng tài.\n* **Hội thảo, hội nghị chuyên đề:**  Tham gia các sự kiện này giúp trọng tài viên cập nhật thông tin mới nhất về pháp luật lao động và xu hướng giải quyết tranh chấp.\n\n**Tóm lại:**\n\nMặc dù không bắt buộc, việc tham gia các khóa đào tạo là **hết sức cần thiết và có lợi** cho trọng tài viên lao động.  Nó giúp nâng cao năng lực chuyên môn, kiến thức pháp luật, kỹ năng giải quyết tranh chấp, từ đó góp phần vào việc giải quyết tranh chấp lao động một cách hiệu quả, công bằng và đúng pháp luật.  Để trở thành một trọng tài viên lao động giỏi, việc **tự giác học hỏi, trau dồi kiến thức và kỹ năng một cách liên tục** là điều quan trọng hơn cả.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768, dim_512, dim_256 and dim_128
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

json

• Dataset: json
• Size: 15,709 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 19 tokens</li><li>mean: 35.09 tokens</li><li>max: 94 tokens</li></ul>	<ul><li>min: 22 tokens</li><li>mean: 495.92 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive
  <code>{"question": "Trường hợp người lao động nước ngoài bị mất giấy phép lao động, phải làm gì để được cấp lại?"}</code>	<code>Để được cấp lại giấy phép lao động (GPLĐ) khi bị mất, người lao động nước ngoài tại Việt Nam cần thực hiện các bước sau:<br><br>1. Báo cáo mất giấy phép lao động:<br><br>* Báo cáo cho người sử dụng lao động: Ngay khi phát hiện mất GPLĐ, bạn cần báo cáo ngay lập tức cho người sử dụng lao động của mình. Họ sẽ cần biết để hỗ trợ bạn trong quá trình xin cấp lại.<br>* Không bắt buộc báo công an: Theo quy định hiện hành của Việt Nam, không bắt buộc phải báo cáo mất GPLĐ với cơ quan công an. Tuy nhiên, việc này có thể hữu ích trong trường hợp bạn cần chứng minh việc mất giấy tờ và tránh các rủi ro pháp lý liên quan đến việc giấy tờ bị lợi dụng.<br><br>2. Chuẩn bị hồ sơ xin cấp lại giấy phép lao động:<br><br>Hồ sơ xin cấp lại GPLĐ về cơ bản tương tự như hồ sơ xin cấp mới, tuy nhiên có một số điểm khác biệt. Bạn cần chuẩn bị các giấy tờ sau:<br><br>* Văn bản đề nghị cấp lại giấy phép lao động: Theo mẫu do Bộ Lao động - Thương binh và Xã hội quy định (Mẫu số 11/PLI Phụ lục I Nghị định 152/2020/NĐ-CP). Vă...</code>
  <code>{"question": "Doanh nghiệp cho thuê lại có phải báo cáo số lao động bị trả lại cho cơ quan lao động không?"}{"question": "Trong trường hợp nào Chủ tịch Ủy ban nhân dân cấp tỉnh có quyền quyết định hoãn cuộc đình công?"}</code>	<code>{"answer": "Doanh nghiệp cho thuê lại lao động có nghĩa vụ báo cáo số lượng lao động bị trả lại cho cơ quan quản lý nhà nước về lao động.<br><br>Cụ thể, theo quy định của pháp luật Việt Nam (ví dụ như Nghị định 145/2020/NĐ-CP hướng dẫn Bộ luật Lao động), doanh nghiệp cho thuê lại lao động phải thực hiện chế độ báo cáo định kỳ về tình hình hoạt động cho thuê lại lao động, trong đó bao gồm cả số lượng lao động đã cho thuê và số lượng lao động bị trả lại.<br><br>Việc báo cáo này nhằm mục đích:<br><br>* Quản lý nhà nước về thị trường lao động: Cơ quan quản lý lao động cần nắm bắt thông tin về biến động lao động để có chính sách điều chỉnh thị trường lao động phù hợp.<br>* Thống kê và phân tích tình hình sử dụng lao động: Giúp cơ quan chức năng đánh giá được hiệu quả hoạt động của doanh nghiệp cho thuê lại và tình hình sử dụng lao động trong các ngành nghề, lĩnh vực khác nhau.<br>* Bảo vệ quyền lợi của người lao động: Việc báo cáo giúp cơ quan lao động nắm bắt được tình hình lao động bị trả lại,...</code>
  <code>{"question": "Doanh nghiệp có thể làm gì để kết nối cung và cầu lao động một cách hiệu quả hơn?"}</code>	<code>Để doanh nghiệp kết nối cung và cầu lao động một cách hiệu quả hơn, họ có thể thực hiện nhiều biện pháp khác nhau, tập trung vào việc hiểu rõ thị trường lao động, thu hút ứng viên phù hợp, và tối ưu hóa quy trình tuyển dụng. Dưới đây là một số gợi ý chi tiết:<br><br>1. Hiểu rõ thị trường lao động và nhu cầu tuyển dụng:<br><br>* Phân tích nhu cầu nhân lực: Xác định rõ số lượng, kỹ năng, kinh nghiệm cần thiết cho từng vị trí và phòng ban trong ngắn hạn và dài hạn. Dự báo nhu cầu dựa trên kế hoạch kinh doanh và chiến lược phát triển của doanh nghiệp.<br>* Nghiên cứu thị trường lao động: Tìm hiểu về tình hình cung - cầu lao động trong ngành và khu vực địa lý liên quan. Xác định mức lương, phúc lợi, và các yếu tố thu hút ứng viên phổ biến trên thị trường.<br>* Phân khúc ứng viên mục tiêu: Xác định rõ đối tượng ứng viên mà doanh nghiệp muốn thu hút (sinh viên mới ra trường, chuyên gia có kinh nghiệm, lao động phổ thông, v.v.). Hiểu rõ nhu cầu, mong muốn và kênh tìm việc ưa thích của từng ...</code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 72
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 4
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 100
• lr_scheduler_type: cosine_with_restarts
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• push_to_hub: True
• hub_model_id: VN-Law-Embedding
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 72
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: cosine_with_restarts
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: VN-Law-Embedding
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>

The model card is truncated. Read the rest on Hugging Face.