Vietnamese_Law_Embedding_finetuned

Vietnamese_Embedding_finetuned

This is a sentence-transformers model finetuned from AITeamVN/Vietnamese_Embedding on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: AITeamVN/Vietnamese_Embedding <!-- at revision 9f671cc30908f1d851787efcc05b7d15bad8b615 -->
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: vi
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("namnguyenba2003/Vietnamese_Law_Embedding_finetuned")
# Run inference
sentences = [
    'Điều 9. Hồ sơ làm căn cứ để đánh giá đáp ứng GACP\n1. Đơn đề nghị đánh giá theo Mẫu số 1A Phụ lục I Thông tư này.\n2. Bản sao có xác nhận của đơn vị đối với Quyết định thành lập hoặc Giấy chứng nhận đăng ký kinh doanh hoặc Giấy phép đầu tư (đối với trường hợp quy định tại Điểm a Khoản 1 Điều 8 Thông tư này).\n3. Sơ đồ tổ chức và nhân sự của cơ sở (nêu rõ các bộ phận chủ chốt của cơ sở: họ tên, chức danh, trình độ chuyên môn và kinh nghiệm công tác của các trưởng bộ phận). Trường hợp cơ sở gồm nhiều hộ gia đình thì phải gửi kèm danh sách họ tên, địa chỉ, địa điểm, diện tích nuôi trồng, khai thác và hợp đồng thu mua giữa cơ sở với các hộ gia đình/đại diện các hộ gia đình.\n4. Sơ đồ phân lô khu vực nuôi trồng, khai thác và bản thuyết minh các khu vực nuôi trồng, khai thác, sơ chế, chế biến và bảo quản.\n5. Kế hoạch, nội dung và kết quả đào tạo về GACP cho nhân viên của cơ sở trong năm nộp hồ sơ.',
    'Theo quy định, cơ sở nuôi trồng, khai thác dược liệu phải cung cấp những thông tin gì về tổ chức và nhân sự của cơ sở để được đánh giá đáp ứng GACP?',
    'Nếu một đơn vị đã đưa tài sản cố định vào sử dụng nhưng chưa có quyết toán được phê duyệt, họ sẽ xác định nguyên giá tài sản như thế nào?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Dataset: dim_1024
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "truncate_dim": 1024
  }
  

Information Retrieval

• Dataset: dim_768
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "truncate_dim": 768
  }
  

Information Retrieval

• Dataset: dim_512
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "truncate_dim": 512
  }
  

Information Retrieval

• Dataset: dim_256
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "truncate_dim": 256
  }
  

Information Retrieval

• Dataset: dim_128
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "truncate_dim": 128
  }
  

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

json

• Dataset: json
• Size: 23,168 training samples
• Columns: <code>positive</code> and <code>anchor</code>
• Approximate statistics based on the first 1000 samples:

  	positive	anchor
  type	string	string
  details	<ul><li>min: 110 tokens</li><li>mean: 204.39 tokens</li><li>max: 313 tokens</li></ul>	<ul><li>min: 19 tokens</li><li>mean: 36.62 tokens</li><li>max: 91 tokens</li></ul>

• Samples:

  positive	anchor
  <code>Điều 7. Cấp chứng chỉ<br>1. Người học được cơ sở đào tạo cấp Chứng chỉ đào tạo nghiệp vụ giám định pháp y hoặc giám định pháp y tâm thần khi đáp ứng đủ các yêu cầu sau đây:<br>a) Không vi phạm các quy định của khóa đào tạo;<br>b) Tham gia đầy đủ thời gian đào tạo và tích lũy đủ nội dung của chương trình đào tạo;<br>c) Kết quả kiểm tra, đánh giá năng lực đạt yêu cầu của khóa đào tạo;<br>d) Hoàn thành đầy đủ các nghĩa vụ của người học đối với cơ sở đào tạo.<br>2. Mẫu Chứng chỉ đào tạo nghiệp vụ giám định pháp y hoặc nghiệp vụ giám định pháp y tâm thần được quy định tại Phụ lục ban hành kèm theo Thông tư này.<br>3. Chứng chỉ đào tạo nghiệp vụ giám định pháp y và đào tạo nghiệp vụ giám định pháp y tâm thần là một trong những điều kiện để bổ nhiệm giám định viên tư pháp trong lĩnh vực pháp y và pháp y tâm thần theo quy định của Luật giám định tư pháp.</code>	<code>Luật giám định tư pháp quy định những điều kiện gì để bổ nhiệm giám định viên tư pháp trong lĩnh vực pháp y và pháp y tâm thần?</code>
  <code>Điều 68. Nguyên tắc quản lý, sử dụng<br>1. Người làm công tác thi hành án dân sự phải mặc trang phục có gắn bảng tên, phù hiệu, cấp hiệu thi hành án dân sự tại công sở và trong khi thi hành công vụ theo đúng chức vụ, chức danh đang đảm nhiệm.<br>2. Việc cấp phát, quản lý, sử dụng trang phục, phù hiệu, cấp hiệu, Thẻ Chấp hành viên, Thẻ Thẩm tra viên thi hành án phải đúng mục đích, đúng đối tượng, đúng chế độ theo quy định của pháp luật.<br>3. Nghiêm cấm việc sử dụng trang phục, phù hiệu, cấp hiệu, Thẻ Chấp hành viên, Thẻ Thẩm tra viên thi hành án để thực hiện các hành vi trái pháp luật.</code>	<code>Việc sử dụng trang phục, phù hiệu, cấp hiệu, Thẻ Chấp hành viên, Thẻ Thẩm tra viên thi hành án để thực hiện các hành vi trái pháp luật bị nghiêm cấm như thế nào?</code>
  <code>Điều 8. Trách nhiệm của cơ sở cung cấp dịch vụ công tác xã hội<br>1. Thường xuyên tổ chức giáo dục ý thức tuân thủ các quy định về tiêu chuẩn đạo đức nghề nghiệp đối với người làm công tác xã hội thuộc phạm vi quản lý.<br>2. Phối hợp với các cơ sở đào tạo, cơ sở giáo dục nghề nghiệp để đào tạo, bồi dưỡng, nâng cao năng lực chuyên môn và đạo đức nghề nghiệp đối với người làm công tác xã hội.<br>3. Công bố công khai tiêu chuẩn đạo đức nghề công tác xã hội để người làm công tác xã hội biết và nghiêm túc thực hiện.<br>4. Tạo điều kiện thuận lợi và hỗ trợ để người làm công tác xã hội thực hiện tốt các tiêu chuẩn đạo đức nghề nghiệp trong quá trình thực hành công tác xã hội.<br>5. Tiếp nhận, giải quyết các khiếu nại, tố cáo của đối tượng liên quan đến việc thực hiện đạo đức nghề nghiệp của người làm công tác xã hội theo thẩm quyền; xử lý nghiêm các hành vi vi phạm đạo đức nghề nghiệp thuộc phạm vi quản lý theo quy định của pháp luật.<br>6. Thường xuyên kiểm tra, đánh giá kết quả việc thực hiện tiêu chuẩn đạo ...</code>	<code>Các cơ sở cung cấp dịch vụ công tác xã hội phải làm gì để đảm bảo người làm công tác xã hội tuân thủ đạo đức nghề nghiệp?</code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• gradient_accumulation_steps: 8
• learning_rate: 3e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• tf32: True
• dataloader_num_workers: 8
• load_best_model_at_end: True
• optim: adamw_torch_fused
• ddp_find_unused_parameters: False
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 8
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 8
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 4.1.0
• Transformers: 4.52.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->