bidv-dense_embedding

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large <!-- at revision ab10c1a7f42e74530fe7ae5be82e6d4f11a719eb -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("qminh369/bidv-dense_embedding")
# Run inference
sentences = [
    'Làm thế nào để xem chi tiết về một giao dịch trong kỳ sao kê của thẻ tín dụng?',
    'HƯỚNG DẪN SỬ DỤNG \nSMARTBANKING V. Dịch vụ thẻ   /   8. Sao kê thẻ tín dụng 938. Sao kê thẻ tín dụng\nBước 3: Bước 4: \nNhấn nút Tra cứu. Màn hình hiển thị sao kê gồm 2 tab là Thông \ntin sao kê và Giao dịch trong kỳ \n• Tab Thông tin sao kê gồm số thẻ, kỳ sao kê, số dư đầu kỳ, s ố \ndư cuối kỳ, số tiền chi tiêu trong kỳ, ngày lập sao kê, số ti ền \nthanh toán tối thiểu… \n• Tab Giao dịch trong kỳ hiển thị các giao dịch đã phát sinh của \nthẻ trong kỳ sao kê đang truy vấn Nếu muốn xem chi tiết giao dịch, chọn vào giao dịch màn hìn h \nsẽ hiển thị các thông tin về giao dịch tương tự khi tra cứu tại \nchức năng Lịch sử giao dịch gồm số thẻ, số tiền giao dịch, l oại \ngiao dịch, ngày giao dịch, ngày quyết toán, nội dung...',
    'HƯỚNG DẪN SỬ DỤNG \nSMARTBANKING III. Cài đặt   /   1.3. Hủy danh bạ yêu thích 261.3. Hủy danh bạ yêu thích\nBước 1: Bước 2: Bước 3:\n• Chọn 1 danh bạ muốn hủy yêu thích  \n• Nhấn chọn icon         ở góc phải danh bạ đó.Nhấn chọn chức năng Bỏ yêu thích Danh bạ vừa hủy bỏ yêu thích s ẽ hiển thị về đúng \nloại chuyển khoản của danh bạ đó.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,061 training samples
• Columns: <code>sentence_0</code> and <code>sentence_1</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	<ul><li>min: 5 tokens</li><li>mean: 24.43 tokens</li><li>max: 56 tokens</li></ul>	<ul><li>min: 3 tokens</li><li>mean: 336.56 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  sentence_0	sentence_1
  <code>Làm thế nào để đủ điều kiện nhận khuyến mãi khi sử dụng thẻ tín dụng hạng Platinum?</code>	<code>PHỤ LỤC 01: THỂ LỆ CHƯƠNG TRÌNH KHUYẾN MẠI<br>KHI MỞ THẺ TDQT BIDV HẠNG PLATINUM VÀ THẺ BIDV JCB ULTIMATE<br>1.Thời gian khuyến mại: từ 15/11/2023 đến 31/12/2023 hoặc khi ngân sách h ết hạn,<br>tùy điều kiện nào đ ến trước<br>2.Loại thẻ áp dụng: thẻ tín dụng quốc tế BIDV h ạng Platinum, BIDV JCB Ultimate<br>3.Đối tượng khuyến mại: <br>-Đối với thẻ tín dụng hạng Platinum: Khách hàng ph át hành m ới thẻ chính c ác loại<br>thẻ tín dụng BIDV Platinum <br>-Đối với thẻ tín dụng JCB Ultimate: Khách hàng ph át hành m ới thẻ chính thẻ tín<br>dụng BIDV JCB Ultimate <br>4.Cơ chế khuyến mại:<br>-Đối với thẻ tín dụng hạng JCB: Tặng 2 tri ệu đồng (Tương đương phí thường niên<br>1,5 tri ệu đồng v à thêm 500.000 đồng) khi kh ách hàng chi tiêu từ 5 tri ệu đồng trong<br>vòng 30 ng ày kể từ ng ày mở thẻ.<br>-Đối với thẻ tín dụng hạng Platinum: <br>+Tặng 1 tri ệu đồng (tương đương phí thường niên 1 tri ệu đồng) khi KH chi tiêu từ<br>2 triệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ.<br>+Tặng thêm 500.000 đồng khi kh ách hàng chi tiêu thêm từ 1 tri ệu đồng trong<br>vòng 30 ng ày kể từ ng ày mở thẻ (theo Công văn 14644/BIDV-KHBL đang triển<br>khai).</code>
  <code>Khi nào thời gian khuyến mãi kết thúc?</code>	<code>PHỤ LỤC 01: THỂ LỆ CHƯƠNG TRÌNH KHUYẾN MẠI<br>KHI MỞ THẺ TDQT BIDV HẠNG PLATINUM VÀ THẺ BIDV JCB ULTIMATE<br>1.Thời gian khuyến mại: từ 15/11/2023 đến 31/12/2023 hoặc khi ngân sách h ết hạn,<br>tùy điều kiện nào đ ến trước<br>2.Loại thẻ áp dụng: thẻ tín dụng quốc tế BIDV h ạng Platinum, BIDV JCB Ultimate<br>3.Đối tượng khuyến mại: <br>-Đối với thẻ tín dụng hạng Platinum: Khách hàng ph át hành m ới thẻ chính c ác loại<br>thẻ tín dụng BIDV Platinum <br>-Đối với thẻ tín dụng JCB Ultimate: Khách hàng ph át hành m ới thẻ chính thẻ tín<br>dụng BIDV JCB Ultimate <br>4.Cơ chế khuyến mại:<br>-Đối với thẻ tín dụng hạng JCB: Tặng 2 tri ệu đồng (Tương đương phí thường niên<br>1,5 tri ệu đồng v à thêm 500.000 đồng) khi kh ách hàng chi tiêu từ 5 tri ệu đồng trong<br>vòng 30 ng ày kể từ ng ày mở thẻ.<br>-Đối với thẻ tín dụng hạng Platinum: <br>+Tặng 1 tri ệu đồng (tương đương phí thường niên 1 tri ệu đồng) khi KH chi tiêu từ<br>2 triệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ.<br>+Tặng thêm 500.000 đồng khi kh ách hàng chi tiêu thêm từ 1 tri ệu đồng trong<br>vòng 30 ng ày kể từ ng ày mở thẻ (theo Công văn 14644/BIDV-KHBL đang triển<br>khai).</code>
  <code>Ai là đối tượng được áp dụng khuyến mãi khi sử dụng thẻ tín dụng JCB Ultimate?</code>	<code>PHỤ LỤC 01: THỂ LỆ CHƯƠNG TRÌNH KHUYẾN MẠI<br>KHI MỞ THẺ TDQT BIDV HẠNG PLATINUM VÀ THẺ BIDV JCB ULTIMATE<br>1.Thời gian khuyến mại: từ 15/11/2023 đến 31/12/2023 hoặc khi ngân sách h ết hạn,<br>tùy điều kiện nào đ ến trước<br>2.Loại thẻ áp dụng: thẻ tín dụng quốc tế BIDV h ạng Platinum, BIDV JCB Ultimate<br>3.Đối tượng khuyến mại: <br>-Đối với thẻ tín dụng hạng Platinum: Khách hàng ph át hành m ới thẻ chính c ác loại<br>thẻ tín dụng BIDV Platinum <br>-Đối với thẻ tín dụng JCB Ultimate: Khách hàng ph át hành m ới thẻ chính thẻ tín<br>dụng BIDV JCB Ultimate <br>4.Cơ chế khuyến mại:<br>-Đối với thẻ tín dụng hạng JCB: Tặng 2 tri ệu đồng (Tương đương phí thường niên<br>1,5 tri ệu đồng v à thêm 500.000 đồng) khi kh ách hàng chi tiêu từ 5 tri ệu đồng trong<br>vòng 30 ng ày kể từ ng ày mở thẻ.<br>-Đối với thẻ tín dụng hạng Platinum: <br>+Tặng 1 tri ệu đồng (tương đương phí thường niên 1 tri ệu đồng) khi KH chi tiêu từ<br>2 triệu đồng trong vòng 30 ng ày kể từ ng ày mở thẻ.<br>+Tặng thêm 500.000 đồng khi kh ách hàng chi tiêu thêm từ 1 tri ệu đồng trong<br>vòng 30 ng ày kể từ ng ày mở thẻ (theo Công văn 14644/BIDV-KHBL đang triển<br>khai).</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 5
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

</details>

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.3.0+cu121
• Accelerate: 0.31.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->