Vietnamese_embeddings

SentenceTransformer based on AITeamVN/Vietnamese_Embedding

This is a sentence-transformers model finetuned from AITeamVN/Vietnamese_Embedding on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: AITeamVN/Vietnamese_Embedding <!-- at revision dea33aa1ab339f38d66ae0a40e6c40e0a9249568 -->
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • dataset_full_fixed

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Vietnamese_embeddings")
# Run inference
queries = [
    "B\u1ea1n\r\nB\u00e1 \u0110\u1ea1o th\u00e2n m\u1ebfn! \u0102n\r\nd\u01b0a chu\u1ed9t c\u00f3 m\u1ed9t s\u1ed1 t\u00e1c d\u1ee5ng nh\u01b0 ch\u1eefa ph\u00f9, gi\u00fap l\u1ee3i ti\u1ec3u, c\u00f3 t\u00e1c d\u1ee5ng thanh\r\nnhi\u1ec7t, gi\u1ea3i kh\u00e1t. Tuy nhi\u00ean, theo \u0110\u00f4ng y, d\u01b0a chu\u1ed9t c\u00f3 t\u00ednh l\u1ea1nh, n\u1ebfu \u0103n nhi\u1ec1u\r\ns\u1ebd sinh \u0111i ti\u1ec3u nhi\u1ec1u, th\u1eadm ch\u00ed ng\u01b0\u1eddi th\u1eadn y\u1ebfu c\u00f3 th\u1ec3 hay b\u1ecb v\u00e3i ti\u1ec3u v\u00e0 d\u1eabn\r\n\u0111\u1ebfn . Do v\u1eady, ng\u01b0\u1eddi b\u1ecb l\u1ea1nh b\u1ee5ng, \u1ea3nh h\u01b0\u1edfng ch\u1ee9c n\u0103ng th\u1eadn th\u00ec kh\u00f4ng\r\nn\u00ean \u0103n d\u01b0a chu\u1ed9t. C\u00f2n\r\nng\u01b0\u1eddi b\u00ecnh th\u01b0\u1eddng c\u0169ng kh\u00f4ng n\u00ean s\u1eed d\u1ee5ng qu\u00e1 nhi\u1ec1u d\u01b0a chu\u1ed9t trong th\u1eddi gian\r\nd\u00e0i, l\u00e0m ch\u1ee9c n\u0103ng th\u1eadn suy gi\u1ea3m. M\u1ed7i ng\u00e0y ch\u1ec9 n\u00ean \u0103n 1 - 2 qu\u1ea3 d\u01b0a chu\u1ed9t,\r\nkh\u00f4ng n\u00ean \u0103n v\u1edbi l\u1ea1c s\u1ebd sinh \u0111\u1ea7y h\u01a1i, kh\u00f3 ti\u00eau. Alobacsi.n Theo Ki\u1ebfn th\u1ee9c",
]
documents = [
    'Thưa bác sĩ,\r\n\r\nTôi rất thích ăn dưa chuột, ngày nào tôi cũng ăn. Nhưng có người nói ăn nhiều dưa chuột có thể bị liệt dương, xin hỏi có đúng không? Tôi tưởng ăn dưa chuột thì tốt cho chuyện sinh lý. (Nguyễn Bá Đạo - Bắc Giang)',
    'Hỗn dịch uống A.T Ibuprofen Syrup 100mg An Thiên giảm đau, kháng viêm (60ml)',
    'Viên nén Natidof 8 SPM điều trị thoái hóa đốt sống, vẹo cổ, đau lưng (3 vỉ x 10 viên)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6852, -0.0705, -0.0483]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "truncate_dim": 768
  }
  

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

dataset_full_fixed

• Dataset: dataset_full_fixed at ef2e7fd
• Size: 43,803 training samples
• Columns: <code>positive</code> and <code>query</code>
• Approximate statistics based on the first 1000 samples:

  	positive	query
  type	string	string
  details	<ul><li>min: 25 tokens</li><li>mean: 249.72 tokens</li><li>max: 1968 tokens</li></ul>	<ul><li>min: 6 tokens</li><li>mean: 77.99 tokens</li><li>max: 576 tokens</li></ul>

• Samples:

  positive

  query

  <code>Chào bạn, Có 2 nhóm nguyên nhân chính làm tăng Ferritin máu , có hoặc không có ứ đọng sắt ở các mô. Bệnh có ứ đọng sắt tiên phát phổ biến nhất là bệnh ứ sắt mô di truyền (hemochromatosis) do đột biến gen HFE, gen tham gia vào điều hòa hấp thu sắt ở ruột non. Bệnh hay gặp ở người da trắng và rất hiếm gặp ở người châu Á. Ở Việt Nam, bệnh tăng Ferritin có ứ sắt mô thứ phát hay gặp nhất là bệnh beta Thalassemia. Nguyên nhân tăng Ferritin không có ứ đọng sắt ở các mô, hay gặp ở người châu Á gồm viêm gan virus mạn tính, rượu hoặc bệnh gan do rượu và không do rượu, bệnh đái tháo đường hoặc hội chứng biến dưỡng. Ngoài ra tăng Ferritin máu hay gặp ở người mắc các bệnh mạn tính như viêm đa khớp dạng thấp, bệnh tự miễn, ungthư và suy thận mạn. Như vậy, trường hợp này có thể tăng Ferritine di truyền hoặc thứ phát gây ra tăng men gan, nhưng cũng có thể viêm gan mạn là nguyên nhân làm cho Ferritine tăng cao. Bạn nên đưa chồng đến tái khám chuyên khoa Viêm Gan để bác sĩ xem xét làm thêm xét nghiệm là...</code>

  <code>Bác sĩ cho em hỏi,

  <br> <br>Chồng em bị bệnh cao men gan. Tháng vừa rồi đi xét nghiệm máu kết quả như sau: <br> <br>- AST=114U/L <br> <br>- ALT=204U/L <br> <br>- GGT=536U/L <br> <br>- Acid Uric huyết thanh=443 <br> <br>- Cholesterol toàn phần=6.6 <br> <br>- Triglycerid=3.2 <br> <br>- HDL- cholesterol=1.1 <br> <br>- LDL- cholesterol=4.0 <br> <br>- Ferritin=1348 <br> <br>Kết quả xét nghiệm với men gan cao như vậy và Ferritin quá cao có nguy hiểm không bác sĩ? Chồng em cần có chế độ dinh dưỡng như thế nào hay cần kiêng cữ các loại thức ăn nào? <br> <br>Em gửi kèm kết quả xét nghiệm và đơn thuốc của bác sĩ. Mong bác sĩ tư vấn giúp em với những chỉ số hiện tại thì bệnh của chồng em có nguy hiểm không, có cần làm thêm các xét nghiệm khác để kiểm tra thêm không (đặc biệt là các xét nghiệm liên quan đến ung thư gan)? Chồng em hay cảm thấy mệt, ăn uống không ngon miệng và mấy tháng nay hay đau nhức khớp tay và khớp xương mông nữa. <br> <br>Chồng em đi tiêu tiểu cũng khác bình thường, trung bình 1 ngày đi cầu khoảng 3 đến 4 lần, còn đi tiểu thì em thấy hơi khó, có khi đứn...</code> | | <code>Mô tả ngắn:<br>Thuốc Bailuzym của Công ty TNHH Liên doanh Hasan – Dermapharm, thành phần chính là Lactobacillus acidophilus . Bailuzym là thuốc dùng bổ sung vi khuẩn có lợi cho đường tiêu hóa và tăng cường khả năng miễn dịch trong các trường hợp: Tiêu chảy do nhiễm khuẩn, do kháng sinh và hóa trị liệu, viêm ruột cấp tính hay mạn tính, rối loạn tiêu hóa, rối loạn cân bằng vi sinh ruột do rượu, stress, du lịch, dự phòng các biến chứng đường tiêu hóa. <br> Bailuzym được bào chế dưới dạng thuốc bột. Đóng gói theo quy cách: Hộp 30 gói x gói 1 g.<br>Thành phần:<br>Lactobacillus acidophilus: 10^8CFU<br>Chỉ định:<br>Thuốc Bailuzym được chỉ định dùng trong các trường hợp bổ sung vi khuẩn có lợi cho đường tiêu hóa và tăng cường khả năng miễn dịch trong các trường hợp:<br>Tiêu chảy do nhiễm khuẩn, do kháng sinh và hóa trị liệu. Viêm ruột cấp tính hay mạn tính, rối loạn tiêu hóa: Chướng bụng, đầy hơi, táo bón. Rối loạn cân bằng vi sinh ruột do rượu, stress, du lịch. Dự phòng các biến chứng đường tiêu hóa.</code> | <code>Bột Bailuzym Hasan bổ sung vi khuẩn có lợi cho đường tiêu hóa (30 gói x 1g)</code> | | <code>AloBacsi rất vui được gặp lại Dinh Suu, Em có tiền căn sảy thai rồi thì cần cẩn thận trong cách đi đứng, sinh hoạt cũng như ăn uống sao cho khỏi bị ngộ độc. Đúng như em đã tìm hiểu, có rất nhiều nguyên nhân gây sảy thai nhưng nguyên nhân do chạy xe máy đường xa thì không được đưa vào trong sách. Tuy nhiên, cũng có một số trường hợp không tìm thấy được nguyên nhân. Mặc dù vậy em cũng cần phải đề phòng, nếu đường quá nhiều “ổ gà” hoặc đường quá xa như vậy sẽ không đảm bảo cho sức khỏe của em (sức khỏe của mẹ tốt thì con mới khỏe được). Tốt nhất, em nên thử que sau khi có trễ kinh một tuần nhưng cũng có trường hợp dương hoặc âm tính giả. Để chính xác em cần thử máu beta hCG. Thân mến!</code> | <code>Dạ, em xin chân thành cảm ơn BS đã trả lời giúp em câu hỏi trước! <br> <br>BS cho em hỏi là việc thai lưu hoặc sảy thai theo em được biết thì có thể có nhiều nguyên nhân nhưng việc chạy xe máy nhiều có ảnh hưởng gì không thưa BS? Em bị sảy một lần nên em lo lắm nhưng công việc xa nhà nên mỗi ngày em phải chạy xe đi về hơn 40km việc này có ảnh hưởng gì đến thai nhi không? <br> <br>Tính từ ngày rụng trứng tới bây giờ đã 9 ngày rồi nhưng em thử que cũng chỉ có một vạch. Còn hy vọng có thai tháng này không thưa BS?</code> |
• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 1
• learning_rate: 1e-06
• num_train_epochs: 1
• lr_scheduler_type: constant_with_warmup
• warmup_ratio: 0.1
• fp16: True
• tf32: False
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

• The bold row denotes the saved checkpoint.

</details>

Framework Versions

• Python: 3.12.11
• Sentence Transformers: 5.1.0
• Transformers: 4.55.4
• PyTorch: 2.8.0+cu126
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->