hcmus_handbook

SentenceTransformer based on truro7/vn-law-embedding

This is a sentence-transformers model finetuned from truro7/vn-law-embedding. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: truro7/vn-law-embedding <!-- at revision 96774e495327a2eabfff428e26f9c963bda0dfa6 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'nghĩa vụ đăng ký tạm trú được quy định như thế nào đối với hssv ngoại trú và hssv nội trú ?',
    'hiện hành của Nhà nước. 7. HSSV nữ. 8. HSSV tích cực tham gia các hoạt động do nhà trường, Đoàn TNCS Hồ Chí Minh, Hội Sinh viên, khu nội trú hoặc các tổ chức xã hội tổ chức. 156 \n \nĐiều 5. Quyền của học sinh, sinh viên nội trú  \n1. Được tôn trọng và đối xử bình đẳng; được ở và sử dụng các trang thiết bị \ntrong khu nội trú theo hợp đồng nội trú đã ký với nhà trường (hoặc Trưởng ban quản \nlý khu nội trú) để phục vụ học tập và sinh hoạt.  \n2. Được tham gia các hoạt động phục vụ đời sống văn hoá, tinh thần do nhà \ntrường tổ chức trong khu nội trú.  \n3. Được đảm bảo an ninh, trật tự, an toàn và vệ sinh môi trường trong khu nội \ntrú.  \n4. Được kiến nghị với Trưởng ban quản lý khu nội trú và nhà trường các giải \npháp để góp phần xây dựng khu nội trú văn minh, sạch đẹp, an toàn; được đề đạt \nnguyện vọng và khiếu nại lên trưởng ban quản lý khu nội trú của nhà trường giải \nquyết các vấn đề có liên quan đến quyền, lợi ích chính đáng của HSSV trong khu \nnội trú.  \nĐiều 6. Nghĩa vụ của học sinh, sinh viên nội trú  \n1. Thực hiện đăng ký tạm trú theo đúng quy định của Luật Cư trú hiện hành. \nNếu vắng mặt tại khu nội trú quá 1 ngày phải báo với Ban quản lý khu nội trú.  \n2. Chấp hành các quy định của khu nội trú về việc tiếp khách trong phòng ở, \ngiờ tự học, tổ chức các sinh hoạt văn hóa, văn nghệ, không gây ảnh hưởng đến việc \nhọc tập, sinh hoạt của HSSV khác trong phòng ở và khu nội trú. Đoàn kết thực hiện \nnếp sống văn minh, văn hóa trong khu nội trú.  \n3. Tiết kiệm điện, nước, phòng chống cháy nổ, có ý thức giữ gìn và bảo vệ tài \nsản chung trong khu nội trú.  \n4. Nộp đủ và đúng hạn phí nội trú theo quy định trong hợp đồng.  \n5. Nếu làm hư hỏng, mất mát tài sản của khu nội trú phải bồi thường theo quy \nđịnh của Ban quản lý khu nội trú.',
    'Trở thành một trường đại học hàng đầu tại Việt Nam và \nĐông Nam Á về đào tạo, nghiên cứu khoa học, công nghệ \nnền tảng của kinh tế tri thức và kinh tế số.\nTẦM NHÌN 2030\nTrường Đại học Khoa học tự nhiên là trung tâm đào tạo, \nnghiên cứu, phát triển và triển khai ứng dụng khoa học \ncông nghệ, cung cấp nguồn nhân lực và sản phẩm khoa học \ncông nghệ đáp ứng yêu cầu phát triển kinh tế - xã hội đất nước.\nSỨ MẠNG\nSỨ MẠNG, TẦM NHÌN,\nTRIẾT LÝ GIÁO DỤC\n1',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Dataset: dim_128
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 8,848 training samples
• Columns: <code>anchors</code> and <code>positives</code>
• Approximate statistics based on the first 1000 samples:

  	anchors	positives
  type	string	string
  details	<ul><li>min: 4 tokens</li><li>mean: 25.32 tokens</li><li>max: 78 tokens</li></ul>	<ul><li>min: 52 tokens</li><li>mean: 399.35 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchors	positives
  <code>vi phạm nội trú thì xử lý theo quy chế nào</code>	<code>đủ và đúng hạn phí nội trú theo quy định trong hợp đồng. 5. Nếu làm hư hỏng, mất mát tài sản của khu nội trú phải bồi thường theo quy định của Ban quản lý khu nội trú. 157 <br> <br>6. Phản ánh kịp thời các vụ việc xảy ra trong khu nội trú liên quan đến HSSV vi <br>phạm nội quy, quy chế và các đề xuất, kiến nghị chính đáng với Ban quản lý khu nội <br>trú. <br>7. Tích cực tham gia các hoạt động văn hóa, văn nghệ, thể dục thể thao, phòng <br>chống ma túy, phòng chống tội phạm và các tệ nạn xã hội, các hoạt động khác do <br>nhà trường hoặc Ban quản lý khu nội trú tổ chức; tích cực tham gia xây dựng khu <br>nội trú văn minh, sạch đẹp, an toàn. <br>Điều 7. Các hành vi học sinh, sinh viên nội trú không được làm <br>1. Cải tạo phòng, thay đổi hoặc tự ý di chuyển trang thiết bị trong phòng ở; gây <br>mất trật tự, an ninh, vệ sinh môi trường; viết vẽ, che chắn làm mất mỹ quan trong <br>phòng ở và khu sinh hoạt chung của khu nội trú. <br>2. Chuyển nhượng hoặc cho thuê lại hợp đồng ở nội trú đã ký với nhà trường <br>hoặc Ban quản lý kh...</code>
  <code>vi phạm nội trú thì xử lý theo quy chế nào</code>	<code>1. Các sở giáo dục và đào tạo, các cơ quan có liên quan và các nhà trường theo thẩm quyền tổ chức kiểm tra, sơ kết, tổng kết, đánh giá việc thực hiện công tác HSSV nội trú. 158 <br> <br>2. HSSV nội trú vi phạm các khoản 1, 2, 3, 4, 5 Điều 6 và Điều 7 của Quy chế <br>này, tùy theo mức độ sẽ bị nhà trường xử lý kỷ luật bằng hình thức khiển trách nếu <br>vi phạm lần 1, cảnh cáo nếu vi phạm lần thứ 2 trở lên hoặc bị xem xét, chấm dứt <br>hợp đồng ở khu nội trú. Những vi phạm khác xử lý kỷ luật theo quy định của Quy <br>chế HSSV các trường trường đại học, cao đẳng và trung cấp chuyên nghiệp hệ chính <br>quy đối với HSSV chính quy, Quy chế Học viên các trường đại học, cao đẳng và <br>trung cấp chuyên nghiệp hình thức vừa làm vừa học và Điều lệ trường trung học cơ <br>sở, trường trung học phổ thông và trường phổ thông có nhiều cấp học. <br>3. Các tập thể, cá nhân có thành tích trong công tác HSSV nội trú được xem <br>xét khen thưởng theo quy định.</code>
  <code>những quy định nào giúp đảm bảo sinh viên không bị quá tải học phần ?</code>	<code>trí đều trong các tuần của học kỳ. Trong trường hợp cần thiết phải xếp lịch học tập trung thời gian, số giờ giảng đối với một học phần bất kỳ không vượt quá 15 giờ/tuần và 4 giờ/ngày. 64 <br> <br>7. Phân bố giờ học <br>a) Giờ của tiết học tại cơ sở 227 Nguyễn Văn Cừ: <br>Buổi sáng <br>Tiết 1: 6g40-7g30<br>Tiết 2: 7g30-8g20<br>Tiết 3: 8g30-9g20 <br>Tiết 4: 9g20-10g10 <br>Tiết 5: 10g20-11g10 <br>Tiết 6: 11g10-12g00 <br><br>Buổi chiều <br>Tiết 7: 12g30-13g20 <br>Tiết 8: 13g20-14g10 <br>Tiết 9: 14g20-15g10 <br>Tiết 10: 15g10-16g00<br>Tiết 11: 16g10-17g00 <br>Tiết 12: 17g00-17g50 <br><br>Buổi tối <br>Tiết 13:18g00-18g50 <br>Tiết 14: 18g50-19g40 <br>Tiết 15: 19g40-20g30 <br><br> <br> <br>b) Giờ của tiết học tại cơ sở Linh Trung: <br>Buổi sáng <br>Tiết 1: 7g30-8g20 <br>Tiết 2: 8g20-9g10 <br>Tiết 3: 9g20-10g10 <br>Tiết 4: 10g10-11g00 <br>Tiết 6: 12g30-13g20 <br>Tiết 5: 11g10-12g00 <br>Buổi chiều <br>Tiết 7: 13g20-14g10 <br>Tiết 8: 14g20-15g10 <br>Tiết 9: 15g10-16g00 <br>Tiết 10: 16g10-17g00 <br> <br>Điều 7. Tổ chức đăng ký học tập <br>1. Đăng ký học phần: <br>a) Đầu mỗi học kỳ, sinh viên phải theo dõi thông báo để nắm ...</code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• gradient_accumulation_steps: 4
• learning_rate: 3e-05
• num_train_epochs: 10
• lr_scheduler_type: cosine
• warmup_ratio: 0.15
• bf16: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.15
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Accelerate: 1.8.1
• Datasets: 3.6.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->