paraphrase-multilingual-MiniLM-L12-v2

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 <!-- at revision 86741b4e3f5cb7765a600d3a3d55a0f6a6cb443d -->
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ntAnh-dev/paraphrase-multilingual-MiniLM-L12-v2")
# Run inference
sentences = [
    'Khi tham gia chương trình sinh hoạt công dân do trường ,viện tổ chức thì đạt bao nhiêu điểm rèn luyện?',
    'KHUNG ĐÁNH GIÁ KẾT QUẢ RÈN LUYỆN SINH VIÊN 2022-2023\nTiêu chí điểm cộng (Tối đa 100 điểm)\nĐiểm học tập (Tối đa 30 điểm)\nKết quả học tập có điểm trung bình học kỳ (tối đa 24 điểm):\nCó kết quả học tập ở mức GPA ≥ 3.6; minh chứng: dựa trên hệ thống quản lý; điểm: 20\nCó kết quả học tập ở mức: 3.2 ≤ GPA < 3.6; minh chứng: dựa trên hệ thống quản lý; điểm: 18\nCó kết quả học tập ở mức: 2.5 ≤ GPA < 3.2; minh chứng: dựa trên hệ thống quản lý; điểm: 16\nCó kết quả học tập ở mức: 2.0 ≤ GPA < 2.5;; minh chứng: dựa trên hệ thống quản lý; điểm: 14\nCó kết quả học tập ở mức: 1.5 ≤ GPA < 2.0;; minh chứng: dựa trên hệ thống quản lý; điểm: 12\nCó nỗ lực trong học tập (GPA kỳ đánh giá cao hơn kỳ trước, giảm mức cảnh\ncáo học tập, hoặc duy trì điểm GPA trên 3.6 ); minh chứng: dựa trên hệ thống quản lý; điểm: 8\nTrình độ ngoại ngữ (tối đa 6 điểm):\nĐạt trình độ ngoại ngữ theo tiến độ của chương trình đào tạo; minh chứng: dựa trên hệ thống quản lý; điểm: 4\nĐạt chứng chỉ ngoại ngữ tương đương TOEIC 600 điểm trở lên; minh chứng: được cấp khi tham gia hoạt động; điểm: 2\nTham gia các hoạt động học thuật (tối đa 9 điểm):\nTham gia hoạt động, sự kiệnliên quan đến NCKH, học thuật, chuyên môn; minh chứng: được cấp khi tham gia hoạt động; điểm: 3\nTham gia khóa đào tạo kỹ năng nghề nghiệp, kỹ năng bổ trợ chuyên môn; minh chứng: được cấp khi tham gia hoạt động; điểm: 6\nThành viên CLB học thuật, Lab nghiên cứu, Nhóm nghiên cứu, nhóm Khởi\nnghiệp; minh chứng: được cấp khi tham gia hoạt động; điểm: 6\nTham gia công bố khoa học tại Hội nghị hoặc tạp chí khoa học chuyên\nngành; minh chứng: được cấp khi tham gia hoạt động; điểm: 6\nTham gia các cuộc thi Olympic cấp trường, cấp quốc gia, quốc tế; minh chứng: được cấp khi tham gia hoạt động; điểm: 6',
    'Quy định quản lý, hỗ trợ sinh viên nước ngoài học tập tại Đại học Bách khoa Hà Nội\nChương III TRÁCH NHIỆM CỦA CÁC ĐƠN VỊ LIÊN QUAN\nĐiều 11. Phòng/Ban chức năng Hợp tác đối ngoại\n1. Hoàn thành hồ sơ quản lý  LHS học tích lũy tín chỉ như quy định tại  khoản 1,\nĐiều 2 và bàn giao cho Phòng/ Ban chức năng Công tác sinh viên quản lý.\n2. Lập và quản lý hồ sơ LHS trao đổi như quy định tại khoản 2, Điều 2.\n3. Chủ trì, phối hợp với các đơn vị liên quan trong ĐHBK Hà Nội  cung cấp\nthông tin, giải quyết các vấn đề liên quan trong và sau quá trình thực hiện các hoạt\nđộng trao đổi tới LHS .\n4. Tổ chức và hỗ trợ các đơn vị liên quan tổ chức các chương trình giao lưu, trao\nđổi văn hóa cho LHS ; thủ tục cấp, gia hạn, sửa đổi thị thực nhập cảnh  phục vụ cho\nviệc học tập của LHS.\n5. Tổng hợp báo cáo lãnh đạo ĐHBK Hà Nội và các cơ quan chức năng định kỳ\nvà đột xuất theo yêu cầu.\nĐiều 12. Đơn vị chức năng Hỗ trợ trao đổi học thuật\nPhối hợp  với các đơn vị liên quan trong  và ngoài ĐHBK Hà Nội  tổ chức các\nchương trình giao lưu, trao đổi văn hóa cho LHS.\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7406, 0.2134],
#         [0.7406, 1.0000, 0.0214],
#         [0.2134, 0.0214, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Dataset: paraphrase-multilingual-MiniLM-L12-v2-251218
• Evaluated with <code>InformationRetrievalEvaluator</code>

Information Retrieval

• Dataset: paraphrase-multilingual-MiniLM-L12-v2-251218
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,485 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 11 tokens</li><li>mean: 22.66 tokens</li><li>max: 46 tokens</li></ul>	<ul><li>min: 128 tokens</li><li>mean: 128.0 tokens</li><li>max: 128 tokens</li></ul>

• Samples:

  anchor	positive
  <code>Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?</code>	<code>Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội<br>Điều 2. Các quy định chung<br>2. Học bổng KKHT nhằm khuyến khích sinh viên nâng cao thành tích học tập và<br>rèn luyện tại ĐHBK Hà Nội.<br>3. Quỹ học bổng KKHT hình thành từ nguồn học phí và bằng 8% (tám phần<br>trăm) học phí của học kỳ lấy điểm xét cấp học bổng.<br>4. Học bổng KKHT có 3 mức:<br>a) Học bổng loại khá (loại C): Bằng tổng học phí của tất cả các học phần tính<br>điểm trung bình học kỳ (GPA).<br>b) Học bổng loại giỏi (loại B): Bằng 1,2 lần mức học bổng loại khá.<br>c) Học bổng loại xuất sắc (loại A): Bằng 1,5 lần mức học bổng loại khá.<br>Điều 3. Tiêu chuẩn xét cấp học bổng<br>1. Học bổng loại C: GPA ≥ 2,5 và điểm rèn luyện học kỳ ≥ 65 điểm.<br>2. Học bổng loại B: GPA ≥ 3,2 và điểm rèn luyện học kỳ ≥ 80 điểm.<br>3. Học bổng loại A: GPA ≥ 3,6 và điểm rèn luyện học kỳ ≥ 90 điểm.<br>Điều 4. Nguyên tắc xét cấp học bổng<br>1. Sử dụng kết quả học tập và rèn luyện của học kỳ liền trước để xét cấp học<br>bổng cho học kỳ sau.<br>2. Học bổng được xét theo ...</code>
  <code>Tại trường có bao nhiêu loại học bổng KKHT(khuyến khích học tập)?</code>	<code>Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội<br>Điều 1. Phạm vi điều chỉnh và đối tượng áp dụng<br>1. Văn bản này quy định về nguyên tắc, tiêu chuẩn xét duyệt và cấp học bổng cho<br>sinh viên đại học hình thức đào tạo chính quy tại Đại học Bách khoa Hà Nội (sau đây<br>viết tắt là ĐHBK Hà N ội), căn cứ các quy định liên quan tại Nghị định số<br>84/2020/NĐ-CP ngày 17/7/2020 của Chính phủ và Quy chế Quản lý tài chính của Đại<br>học Bách khoa Hà Nội được ban hành theo Nghị quyết số 20/NQ-ĐHBK ngày<br>16/3/2023 của Hội đồng Đại học, Đại học Bách khoa Hà Nội.<br>2. Quy định này áp dụng đối với sinh viên đại học hình thức đào tạo chính quy<br>văn bằng thứ nhất của ĐHBK Hà Nội.<br>Điều 2. Các quy định chung<br>1. Học bổng khuyến khích học tập (KKHT) cấp cho các sinh viên được lựa chọn<br>bởi Hội đồng xét cấp học bổng ĐHBK Hà Nội theo từng học kỳ chính của năm học ,<br>căn cứ vào thành tích học tập và rèn luyện của sinh viên trong học kỳ chính liền trước<br>đó.<br></code>
  <code>trường gồm mấy loại học bổng khuyến khích học tập ?</code>	<code>Quy định xét cấp học bổng khuyến khích học tập tại Đại học Bách khoa Hà Nội<br>Điều 4. Nguyên tắc xét cấp học bổng<br>3. Không xét cấp học bổng đối với sinh viên thuộc một trong các trường hợp sau:<br>a) Chịu hình thức kỷ luật từ mức khiển trách trở lên tại thời điểm xét học bổng;<br>b) Đăng ký học ít hơn 1 5 tín chỉ (kể cả các học phần không tính điểm GPA) tại<br>học kỳ lấy điểm xét, cấp học bổng, ngoại trừ học kỳ 1 năm học thứ nhất;<br>c) Đăng ký học ít hơn 6 tín chỉ (kể cả các học phần không tính điểm GPA) tại<br>học kỳ cấp học bổng;<br>d) Học quá thời gian theo kế hoạch học tập chuẩn của chương trình đào tạo;<br>đ) Học chương trình đào tạo do trường đối tác nước ngoài cấp một văn bằng tốt<br>nghiệp duy nhất;<br>Điều 5. Thời gian công bố kết quả xét duyệt và cấp học bổng<br>1. Danh sách sinh viên được cấp học bổng và mức đ iểm chuẩn để đạt học bổng<br>loại A, B, C theo khóa, ngành đào tạo tương ứng sẽ được công bố trên cổng thông tin<br>sinh viên: ctt.hust.edu.vn, chậm nhất vào tuần học thứ 10 của học kỳ cấp học bổng.<br></code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 20
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 20
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.2
• Transformers: 4.57.3
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->