bert-base-vi-uncased-st-3

SentenceTransformer based on tintnguyen/bert-base-vi-uncased-st-2

This is a sentence-transformers model finetuned from tintnguyen/bert-base-vi-uncased-st-2 on the train dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tintnguyen/bert-base-vi-uncased-st-2 <!-- at revision fa0736df5f05e1e3d4f0bcd374606b11f7495b20 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • train

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/bert-base-vi-uncased-st-3")
# Run inference
sentences = [
    'nabartha là loài gì',
    'Nabartha ::: Simplicia là một chi bướm đêm thuộc họ Noctuidae, bản địa của Nam và Đông Nam Á.',
    'Nalanda ::: Nālandā (Bản mẫu:IAST3; /naːlən̪d̪aː/, phiên âm Hán-Việt: Na Lan Đà) là một trung tâm học tập bậc cao thời cổ đại, một tu viện Phật giáo lớn nằm ở vương quốc cổ Magadha, ngày nay thuộc tiểu bang Bihar, Ấn Độ. Địa điểm này nằm cách Patna chừng 95 kilômét (59 dặm) về phía đông nam, gần thành phố Bihar Sharif và là một trung tâm học thuật quan trọng từ thế kỷ thứ 5 đến phát triển rực rỡ trong giai đoạn từ thời vua Śakrāditya (danh tánh của người này chưa được chắc chắn, có thể là triều vua Kumara Gupta I hoặc Kumara Gupta II) đến năm 1197. Ngày nay, Nalanda là một Di sản thế giới được UNESCO công nhận từ năm 2016.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Evaluation

Metrics

Information Retrieval

• Evaluated with <code>InformationRetrievalEvaluator</code> on ir-eval

{'aaa_cosine_accuracy@1': 0.6465,
 'aaa_cosine_accuracy@3': 0.8083,
 'aaa_cosine_accuracy@5': 0.8598,
 'aaa_cosine_accuracy@10': 0.9207,
 'aaa_cosine_precision@1': 0.6465,
 'aaa_cosine_precision@3': 0.4838,
 'aaa_cosine_precision@5': 0.4153200000000001,
 'aaa_cosine_precision@10': 0.33329000000000003,
 'aaa_cosine_recall@1': 0.1383275111412705,
 'aaa_cosine_recall@3': 0.24971930213626684,
 'aaa_cosine_recall@5': 0.315993377810083,
 'aaa_cosine_recall@10': 0.42927605009627184,
 'aaa_cosine_ndcg@10': 0.5298122781447128,
 'aaa_cosine_mrr@10': 0.7379566269841226,
 'aaa_cosine_map@100': 0.4812504287090463}

Training Details

Training Dataset

train

• Dataset: train at 905c0bb
• Size: 1,673,974 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 5 tokens</li><li>mean: 10.21 tokens</li><li>max: 19 tokens</li></ul>	<ul><li>min: 22 tokens</li><li>mean: 92.78 tokens</li><li>max: 436 tokens</li></ul>	<ul><li>min: 19 tokens</li><li>mean: 90.44 tokens</li><li>max: 407 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>đại học nghiên cứu chiến tranh là gì</code>	<code>Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.</code>	<code>Hội Nghiên cứu Xã hội Khoa học ::: Hội Nghiên cứu Xã hội Khoa học viết tắt là 4S (Society for Social Studies of Science) là một tổ chức phi chính phủ quốc tế hoạt động trong lĩnh vực nghiên cứu các vấn đề khoa học và công nghệ.</code>
  <code>đại học nghiên cứu chiến tranh là gì</code>	<code>Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.</code>	<code>Viện Nghiên cứu Cao cấp Princeton ::: Viện Nghiên cứu Cao cấp Princeton (tiếng Anh: Institute for Advanced Study, viết tắt là IAS) là một trung tâm nghiên cứu lý thuyết cao cấp có trụ sở tại Princeton, New Jersey, Hoa Kỳ. Được thành lập năm 1930, IAS được biết tới như là viện nghiên cứu lý thuyết nổi tiếng thế giới, nơi làm việc của nhiều nhà khoa học châu Âu lánh nạn Chiến tranh thế giới thứ hai như Albert Einstein, John von Neumann và Kurt Gödel. Là trung tâm nghiên cứu chuyên sâu về toán học và vật lý lý thuyết, IAS cũng từng là nơi nghiên cứu của nhiều nhà toán học và vật lý nổi tiếng như J. Robert Oppenheimer, Freeman Dyson, Erwin Panofsky, Homer A. Thompson, George Kennan, Hermann Weyl và Michael Walzer.</code>
  <code>đại học nghiên cứu chiến tranh là gì</code>	<code>Đại học Nghiên cứu Chiến tranh ::: Đại học Nghiên cứu Chiến tranh (tiếng Ba Lan: Akademia Sztuki Wojennej; ASzWoj ) là tổ chức học thuật quân sự cao nhất ở Ba Lan. Nó được thành lập bởi Bộ Quốc phòng vào năm 2016 thay cho Học viện Đại học Quốc phòng cũ (Akademia Obrony Narodowej, AON) được thành lập vào năm 1990. Bộ trưởng Bộ Quốc phòng Wojciech Fałkowski giải thích rằng việc tổ chức lại học viện được lấy cảm hứng từ sự cần thiết phải cải thiện tỷ lệ sinh viên quân sự trong hồ sơ tổng thể của trường đại học.</code>	<code>Học viện Quốc phòng Úc ::: Học viện Quốc phòng Úc, dịch đầy đủ là Học viện Lực lượng Quốc phòng Úc (tiếng Anh: Australian Defence Force Academy, viết tắt: ADFA) là một học viện quân sự tam quân (lục quân, không quân, hải quân) chuyên cung cấp các chương trình đào tạo quân sự và sau trung học cho các sĩ quan trẻ của Lực lượng Quốc phòng Úc trong Không lực Hoàng gia Úc, Lục quân Úc và Hải quân Hoàng gia Úc.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 40
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->