onl_contrastive_onl_contrastive_mlm_phobert-base-v2_v2

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer

<!-- - **Base model:** [Unknown](https://huggingface.co/unknown) -->

• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/onl_contrastive_onl_contrastive_mlm_phobert-base-v2_v2")
# Run inference
sentences = [
    'Phiếu lương bao_gồm những nội_dung gì và cho biết_điều gì ?',
    'PHÂN HỆ BẢNG LƯƠNG\nPhân hệ bảng lương giải_quyết bài_toán gì\nBảng lương là một trong những chứng_từ quan_trọng của doanh_nghiệp và là cơ_sở để các doanh_nghiệp tiến_hành thanh_toán tiền_lương cho nhân_viên ( bao_gồm lương cơ_bản , các loại phụ_cấp , tiền thưởng , các loại thu_nhập thêm khác , khấu_trừ ... )\nTrong hoạt_động của một doanh_nghiệp , tiền_lương luôn là vấn_đề phức_tạp khiến nhà_quản_lý đau_đầu , mệt_mỏi .\nBởi trong một doanh_nghiệp , mức lương của từng nhân_viên không giống nhau , đòi_hỏi sự tính_toán chi_tiết , chính_xác tiền_lương cho từng nhân_sự .\nĐồng_thời , vì tính cẩn_trọng cao nên yêu_cầu người thực_hiện cần phải có kỹ_năng phần_mềm tốt .\nCó_thể thấy , việc quản_lý tiền_lương không khoa_học dẫn tới nhiều hậu_quả khác nhau và khiến nhà_quản_lý mất nhiều thời_gian , công_sức vào mỗi kỳ tính lương .\nPhân hệ này sẽ giúp doanh_nghiệp giải_quyết các bài_toán , các nỗi đau :\nThực_hiện công_tác tính lương , bảo_hiểm , phí công_đoàn , làm thêm ngoài giờ ... cho người lao_động theo chính_sách và chế_độ hiện_hành .\nThanh_toán tiền_lương cho người lao_động chính_xác , kịp_thời theo quy_định đã cam_kết .\nPhân_tích tình_hình sử_dụng quỹ lương , bảo_hiểm_xã_hội , bảo_hiểm_y_tế , công_đoàn ...\nTheo_dõi quyết_toán thuế .',
    'Thủ_tục 630c - Giải_quyết hưởng trợ_cấp dưỡng_sức , phục_hồi sức_khoẻ sau ốm_đau , thai_sản , tai_nạn lao_động , bệnh_nghề_nghiệp\nBạn muốn truy_cập nhanh đến phân hệ Bảo_hiểm 1 - IVAN ?\nTruy_cập vào phân hệ 1 - IVAN\nNội_dung\nTrường_hợp áp_dụng\nHướng_dẫn kê_khai\nTrường_hợp áp_dụng\nThủ_tục 630c được sử_dụng để kê_khai và giải_quyết chế_độ dưỡng_sức phục_hồi sức_khoẻ cho người lao_động .\nChế_độ này được áp_dụng cho những trường_hợp người lao_động đã trải qua một thời_gian ốm_đau , thai_sản , hoặc tai_nạn lao_động , cần thời_gian để hồi_phục sức_khoẻ trước khi quay trở_lại làm_việc .\nCác trường_hợp được hưởng chế_độ dưỡng_sức như sau :\nTrong 30 ngày đầu trở_lại làm_việc mà sức_khoẻ của người lao_động chưa phục_hồi , cụ_thể :\nSau thời_gian nghỉ hưởng chế_độ ốm_đau ( Ốm_đau dài ngày , ốm khác , phẫu_thuật ) .\nSau thời_gian hưởng chế_độ thai_sản ( Sinh_từ 02 con trở lên , sinh phẫu_thuật , sinh khác , sẩy_thai , nạo_thai ) .\nSau thời_gian điều_trị ổn_định thương_tật do TNLĐ hoặc bệnh_tật do BNN bị suy_giảm KNLĐ từ 15% trở lên .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 71,432 training samples
• Columns: <code>question</code>, <code>passage</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	question	passage	label
  type	string	string	int
  details	<ul><li>min: 8 tokens</li><li>mean: 20.2 tokens</li><li>max: 40 tokens</li></ul>	<ul><li>min: 29 tokens</li><li>mean: 182.13 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>0: ~90.90%</li><li>1: ~9.10%</li></ul>

• Samples:

  question	passage	label
  <code>Có_thể tạo mới hợp_đồng bán hàng từ phiếu thu_không ?</code>	<code>Đơn hàng mua<br>Các tác_vụ trên đơn hàng mua<br>Người dùng có_thể thực_hiện các tác_vụ đối_với 1 đơn hàng mua chi_tiết theo 1 trong 2 cách sau :<br>Truy_cập vào 1 đơn hàng mua chi_tiết và thực_hiện các tác_vụ trên góc phải thanh header<br>Tại màn danh_sách , click chuột phải vào 1 đơn hàng mua và thực_hiện các tác_vụ<br>Các tác_vụ tại một đơn hàng mua chi_tiết<br>Bảng mô_tả các tác_vụ tại trang chi_tiết 1 đơn hàng mua :<br>Tên trường : Duyệt / Hoàn duyệt , Mô_tả : Người được cài_đặt là người duyệt đơn hàng mua / người có quyền quản_lý tất_cả sẽ có quyền thực_hiện tác_vụ Duyệt / Hoàn duyệt .<br>Tên trường : Phiếu chi , Mô_tả : Khi cần ghi_nhận các chi_phí hoặc thanh_toán với nhà_cung_cấp liên_quan đến đơn hàng .<br>Phiếu chi chỉ được tạo khi đơn hàng mua có trạng_thái đã duyệt .<br>Tên trường : Người theo_dõi , Mô_tả : Thêm người theo_dõi đơn hàng mua<br>Tên trường : Người phụ_trách , Mô_tả : Thêm người phụ_trách đơn hàng mua<br>Tên trường : Tình_trạng , Mô_tả : Cập_nhật tình_trạng đơn hàng mua : Đã thanh_toán , chưa thanh_toán , đã đi ngân_hàng ...<br>Lưu_ý : Tạo mới tình_trạng đơn hàng mua trong cài_đặt phân hệ Mua hàng<br>Tên trường : Xuất nhập kho , Mô_tả : Người dùng có_thể chọn : Phiếu nhập kho : Thực_hiện đưa sản_phẩm từ đơn hàng đã được duyệt vào trong kho .</code>	<code>0</code>
  <code>Làm thế_nào để liên_kết một phiếu chuyển tiền với một công_việc đã tồn_tại trong hệ_thống ?</code>	<code>Thực_hiện công_việc<br>Thực_hiện công_việc<br>Tác_vụ : Thực_hiện Cho_phép cập_nhật thêm người liên_quan đến công_việc , Người sử_dụng : Người thực_hiện .<br>Tác_vụ : Đầu việc Cho_phép tạo mới một checklist các đầu việc nhỏ liên_quan đến công_việc , Người sử_dụng : Người thực_hiện .<br>Tác_vụ : Chuyển công_việc Chuyển công_việc vào 1 dự_án hoặc công_việc cha đã tạo , Người sử_dụng : Người_quản_lý<br>Tác_vụ : Cập_nhật mô_tả công_việc Cho_phép cập_nhật mô_tả cho công_việc , Người sử_dụng : Ngưởi thực_hiện<br>Tác_vụ : Thêm tài_liệu Cho_phép thêm mới các file đính kém liên_quan đến công_việc , Người sử_dụng : Ngưởi thực_hiện / Người theo_dõi phối_hợp thực_hiện<br>Tác_vụ : Thêm sự_kiện Cho_phép tạo mới Sự_kiện liên_quan tại tab lịch biểu , Người sử_dụng : Ngưởi thực_hiện<br>Tác_vụ : Liên_kết Tạo liên_kết tới một đối_tượng khác trên 1Office , Người sử_dụng : Ngưởi thực_hiện</code>	<code>0</code>
  <code>Trong màn_hình xác_thực bảo_mật 2 lớp khi đăng_nhập , nếu tôi chọn ' Không hỏi lại trên thiết_bị này ' thì điều này có nghĩa là gì ?</code>	<code>Làm_sao để sử_dụng tính_năng xác_thực thiết_bị sử_dụng GPS ?<br>Bước 3 : Admin xác_thực thiết_bị<br>1 - Đăng_nhập tài_khoản admin<br>2 - Chọn_Cài đặt hệ_thống > Tài_khoản người dùng > Tab_Xác thực thiết_bị<br>3 - Admin thực_hiện tác_vụ Xác_thực hoặc Không xác_thực thiết_bị trong danh_sách<br>Sau khi thiết_bị đã được xác_thực , bạn sẽ có_thể sử_dụng tính_năng chấm công GPS trên hệ_thống 1 Office !<br>Lưu_ý : Nếu sau khi đã xác_thực thiết_bị thành_công mà không_thể chấm công_bằng GPS trên thiết_bị di_động thì bạn cần : Bước 1 :  Đăng xuất khỏi tài_khoản và đóng app<br>Bước 2 : Vào cài_đặt điện_thoại > Chọn app 1Office > Bật nhận thông_báo<br>Bước 3 : Mở app và đăng_nhập tài_khoản<br>Bước 4 : Truy_cập màn GPS > Chọn_Gửi xác_thực thiết_bị ( Tại Bước 4 , hệ_thống sẽ lấy được mã thiết_bị và bạn có_thể chấm công GPS )</code>	<code>0</code>

• Loss: <code>OnlineContrastiveLoss</code>

Evaluation Dataset

Unnamed Dataset

• Size: 7,937 evaluation samples
• Columns: <code>question</code>, <code>passage</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	question	passage	label
  type	string	string	int
  details	<ul><li>min: 8 tokens</li><li>mean: 20.14 tokens</li><li>max: 38 tokens</li></ul>	<ul><li>min: 24 tokens</li><li>mean: 181.7 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>0: ~91.30%</li><li>1: ~8.70%</li></ul>

• Samples:

  question	passage	label
  <code>Sau khi import hồ_sơ nhân_sự hoàn_tất , 1Office có gửi thông_báo cho người dùng hay không ?</code>	<code>Hồ_sơ nhân_sự<br>Bước 2 : Tạo mới và quản_lý hồ_sơ nhân_sự<br>2.1 . Tạo mới hồ_sơ nhân_sự<br>Sau khi hoàn_thành các cài_đặt Hồ_sơ nhân_sự , thực_hiện thêm mới đối_tượng Hồ_sơ nhân sựBước 2 : Tạo mới và quản_lý hồ_sơ nhân_sự<br>Có 02 cách để thêm mới đối_tượng Hồ_sơ nhân_sự :<br>Cách 1 : Tạo mới<br>Tạo mới là cách để thêm mới từng đối_tượng hồ_sơ nhân_sự .<br>Cách này thường sử_dụng khi cần thêm một_vài nhân_sự ( số_lượng ít )<br>Các bước cụ_thể :<br>Chọn biểu_tượng Tạo mới tại góc trên bên trái màn_hình > Chọn_Hồ sơ nhân_sự<br>tạo mới hồ_sơ nhân_sự<br>Nhập vào các thông_tin nhân_sự cần quản_lý tại màn_hình tạo mới .<br>Chọn các tab Sơ_yếu lý_lịch , Hợp_đồng , Bảo_hiểm , Sức_khoẻ , Tiếp_nhận , Đính kèm , Đối_tượng liên_quan để cập_nhật thông_tin tương_ứng<br>màn_hình tạo mới hồ_sơ nhân_sự<br>Lưu_ý : Các trường thông_tin có dấu * đỏ cạnh tên trường là bắt_buộc điền<br>Sau khi điền đầy_đủ các thông_tin , nhấn Cập_nhật để lưu lại thông_tin hồ_sơ nhân_sự<br>Cách 2 : Import dữ_liệu<br>Import là cách để thêm mới nhiều đối_tượng hồ_sơ nhân_sự trong 1 lần cập_nhật dựa theo dữ_liệu có sẵn thông_qua upload file Excel dữ_liệu có sẵn .<br>Cách này được sử_dụng để cập_nhật số_lượng nhiều hồ_sơ nhân_sự .<br>Các bước cụ_thể xem tại Hướng_dẫn Import_Hồ sơ nhân_sự</code>	<code>0</code>
  <code>Sau khi tạo lịch cho toàn công_ty thành_công , ai sẽ là người nhận được thông_báo về lịch này ?</code>	<code>Tôi muốn book phòng họp và quản_lý lịch phòng họp trên hệ_thống<br>1 . Để book phòng họp , bạn có_thể thực_hiện bằng cách :<br>Tạo mới Lịch biểu<br>Tại form tạo mới , mục Địa_điểm , phòng họp , phương_tiện , chọn đối_tượng Phòng họp và chọn Phòng họp cần book<br>tạo mới lịch có đặt phòng họp<br>Lưu_ý : Chỉ book được những phòng họp chưa có lịch trước đó , nếu phòng họp đó đã có lịch trùng với thời_gian bạn tạo , hệ_thống sẽ hiển_thị thông_báo<br>Chỉ book được những phòng họp đã được thêm mới vào hệ_thống và bạn có quyền sử_dụng .<br>2 . Để xem và quản_lý các lịch phòng họp , bạn thực_hiện các bước sau :<br>Truy_cập module Lịch biểu > > Chọn đối_tượng Phòng họp tại menu trái .<br>Hệ_thống hiển_thị danh_sách các lịch tương_ứng với các phòng họp .<br>Tại đây , bạn có_thể click vào bộ lọc tuỳ chỉnh để lọc theo tất_cả phòng họp hoặc phòng họp chờ duyệt .<br>màn danh_sách lịch phòng họp</code>	<code>0</code>
  <code>Để xem báo_cáo chấm công theo từng phòng_ban , tôi có_thể lọc thông_tin này ở đâu trên màn_hình báo_cáo ?</code>	<code>Quản_lý nghỉ bù<br>Bảng quản_lý nghỉ bù<br>1 . Mở phân hệ Chấm công<br>2 . Tại menu trái , chọn Ngày nghỉ > Bảng tổng_hợp bù<br>bảng quản_lý nghỉ bù<br>Bảng tác_vụ quản_lý nghỉ bù :<br>Tên tác_vụ và trường dữ_liệu : Chọn năm / chọn tháng , Mô_tả : Hiển_thị Lịch cho_phép lọc dữ_liệu nghỉ bù theo năm hoặc theo tháng .<br>Tên tác_vụ và trường dữ_liệu : Xem theo tháng / xem theo năm , Mô_tả : Chuyển chế_độ xem màn_hình quản_lý nghỉ bù theo tháng hoặc theo năm .<br>Bảng mô_tả các trường dữ_liệu quản_lý nghỉ bù :<br>Trường dữ_liệu : Tồn thực_tế , Mô_tả : Số giờ nghỉ bù còn tồn<br>Trường dữ_liệu : Sử_dụng , Mô_tả : Số giờ nghỉ bù đã sử_dụng<br>Trường dữ_liệu : Giờ làm thêm , Mô_tả : Tổng_số giờ làm thêm từ đơn làm thêm<br>Trường dữ_liệu : Hết hạn , Mô_tả : Số giờ nghỉ bù đã hết hạn<br>Trường dữ_liệu :<br>Ứng , Mô_tả : Số giờ nghỉ bù đã ứng</code>	<code>0</code>

• Loss: <code>OnlineContrastiveLoss</code>

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 88
• per_device_eval_batch_size: 128
• gradient_accumulation_steps: 2
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 15
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 88
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 15
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.8.10
• Sentence Transformers: 3.2.1
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu124
• Accelerate: 1.0.1
• Datasets: 2.19.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->