contrastive-encoder

SentenceTransformer based on FacebookAI/xlm-roberta-large

This is a sentence-transformers model finetuned from FacebookAI/xlm-roberta-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: FacebookAI/xlm-roberta-large <!-- at revision c23d21b0620b635a76227c604d44e43a9f0ee389 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("phuocsang/contrastive-encoder")
# Run inference
sentences = [
    'Trong năm 2005, mức thu nhập bình quân của người dân độ tuổi trên 18 là 3.317 đô la cho phụ nữ thất nghiệp, có gia đình gốc Á cho tới 55.935 đô la cho đàn ông có việc làm toàn thời gian gốc Á. Theo cục thống kê dân số Mỹ, nam giới có mức thu nhập cao hơn phụ nữ trong khi người Mỹ gốc châu Á và Âu kiếm nhiều tiền hơn người Mỹ gốc Phi và Tây Ban Nha. Thu nhập bình quân chung của tất cả người dân trên 18 tuổi là 24.062 đô la (và 32.140 đô la cho độ tuổi từ 25 trở lên) trong năm 2005.[SEP]Không, thông tin không đúng. Người Mỹ gốc Á không có mức thu nhập thấp nhất. Vào năm 2005, thu nhập bình quân của đàn ông gốc Á có việc làm toàn thời gian là 55.935 đô la mỗi năm.',
    'Vào đầu công nguyên, xuất hiện hai vương quốc của người Malayo - Polynesia lớn trên bán đảo Ðông Dương: Phù Nam và Chiêm Thành. Lãnh thổ Phù Nam rộng từ Vịnh Thái Lan đến Biển Hồ nhưng ảnh hưởng tỏa lên Thượng Lào và Bắc Miến Ðiện. Chiêm Thành gồm nhiều vương quốc nhỏ sinh hoạt độc lập với nhau dọc các đồng bằng eo hẹp miền Trung đến chân dãy Trường Sơn về phía Tây: Lâm Ấp hay Indrapura (Bình Trị Thiên), Amaravati (Quảng Nam), Vijaya (Bình Định), Aryaru (Phú Yên), Kauthara (Khánh Hòa) và Panduranga (Phan Rang). Sinh hoạt chính của người Malayo - Polynesia là trồng lúa nước và buôn bán. Ðể tìm thêm nguồn hàng quí hiếm trao đổi với các thuyền buôn, người Malayo - Polynesia mở rộng tầm kiểm soát lên các vùng rừng núi đồng thời khuất phục luôn các nhóm dân cư bản địa đã có mặt từ trước, điển hình điển hình nhóm Bih ven krong A-na mà ngày nay được gọi là Ê Đê Bih với kỹ năng dệt, trang sức, làm gốm, trồng lúa nước. Nhóm Bih là nhóm Malayo - Polynesia định cư và chạy nạn sớm vào sâu nhất trong lục địa, họ đem theo kỹ thuật trồng lúa nước ven sông,dệt vải thô, trang sức hạt, và kỹ nghệ làm gốm thô. Theo chiều lịch sử, danh tự Ê Đê có nguồn gốc từ cách đọc âm của người Champa, bia ký Champa cổ nhất tại tháp Po Nagar vào khoảng thế kỷ VIII đã ghi chép về tộc danh Rang Đê vùng sông Nha Trang, sông Jing, sông Hing. Những bia ký sớm nhất của Champa thế kỷ VIII - đã có nhắc đến nhóm Rangde ven sông Ea trang (Nha Trang). Trong Bia Po Nagar được dựng năm 965 tại tháp Po Nagar (Nha Trang, Khánh Hòa): Nội dung bia như sau:Vào khoảng năm 703 - 706 lịch saka (781 - 784 Công lịch), vua Satyavarman cho dựng một linga (linh vật) thờ thần Siva và lập cháu mình lên làm vua Vikrantavarman(vì theo chế độ mẫu hệ nên cậu truyền ngôi cho cháu theo dòng mẹ)... và đức Vua có thu phục được người Randaya (Rang Đê).Rất có thể từ Rang Đê sau này bị biến âm thành Ra đê, Rađêy hay Ê đê. Ngoài ra, người Ê đê còn tự nhận là nhóm tộc Đêgar, Êđê Êga Anak Đêgar - người trên Cao Nguyên. Đêgar là từ tiếng Ấn Độ srakrit Deccan, và bản thân nó lại có nguồn gốc từ tiếng Phạn दक्षिण, Đêkṣarṇa, nghĩa là "cao nguyên phía nam".[SEP]Người Malayo - Polynesia đầu công nguyên đã phát triển mạnh mẽ ngành công nghiệp ô tô và hàng không, đây là các ngành kinh tế chủ yếu của họ, đóng góp lớn vào sự thịnh vượng của vương quốc.',
    'Nhận ra rằng ông không thể nào giữ được Jerusalem cho dù ông có chiếm được nó, Richard ra lệnh rút lui. Có vài vụ xung đột nhỏ đã nổ ra giữa quân của Richard và Saladin khi hai người đàm phán để giải quyết cuộc xung đột, vì cả hai đều nhận ra rằng họ khó giữ vững được vị trí của mình nếu xung đột tiếp diễn. Richard biết rằng cả Philip và chính em trai ông John đều đang âm mưu chống lại mình. Tuy nhiên, Saladin buộc Richard phải san bằng các công sự mà ông đã xây dựng tại Ascalon và vài việc khác. Richard thực hiện một nỗ lực cuối cùng để giành thế thượng phong trên bàn đàm phán bằng việc xâm lược Ai Cập – nguồn tiếp vận chính của Saladin – nhưng thất bại. Cuối cùng, thời gian không còn nữa. Việc trở về không thể trì hoãn được nữa vì cả Philip và John đều đang lợi dụng sự vắng mặt của ông. Ông và Saladin đi đến một thỏa thuận vào ngày 2 tháng 9, 1192; bao gồm việc phá hủy các công sự của Ascalon, cùng với việc cho phép người hành hương và thương nhân Cơ đốc đến Jerusalem. Nó cũng bao gồm một hòa ước ba năm.[SEP]Richard cho xâm lược Ai Cập với mục đích chính là thiết lập một liên minh vững chắc với Saladin, nhằm củng cố mối quan hệ hòa bình lâu dài giữa hai bên và đảm bảo sự ổn định trong khu vực.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 1.0000, 1.0000],
#         [1.0000, 1.0000, 1.0000],
#         [1.0000, 1.0000, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 5,600 training samples
• Columns: <code>sentence_0</code> and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	label
  type	string	int
  details	<ul><li>min: 145 tokens</li><li>mean: 267.06 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>0: ~33.00%</li><li>1: ~35.10%</li><li>2: ~31.90%</li></ul>

• Samples:

  sentence_0	label
  <code>Chính phủ liên bang thiết lập mọi nỗ lực mới trong nước để ngăn chặn các vụ tấn công tương lai. Đạo luật Yêu nước Mỹ gây nhiều tranh cãi tạo điều kiện gia tăng quyền hạn của chính phủ để theo dõi thông tin liên lạc và tháo vỡ các hạn chế pháp lý về chia sẻ thông tin giữa các cơ quan tình báo và thi hành luật pháp liên bang. Một cơ quan cấp nội các, được gọi là bộ nội an được thành lập để lãnh đạo và điều hợp các hoạt động chống khủng bố của chính phủ liên bang. Một trong số các nỗ lực chống khủng bố này, đặc biệt là việc chính phủ liên quan cầm giữ các phạm nhân tại nhà tù tại vịnh Guantanamo, dẫn đến các cáo buộc rằng chính phủ liên bang vị phạm nhân quyền.[SEP]Không, việc giam giữ các phạm nhân tại vịnh Guantanamo dẫn đến cáo buộc vi phạm nhân quyền, không phải quyền tự do ngôn luận được Hiến pháp Hoa Kỳ bảo đảm.</code>	<code>0</code>
  <code>Việc hợp nhất này đã tước đoạt chính sách đối ngoại độc lập của Bồ Đào Nha và dẫn đến việc họ tham gia Chiến tranh Tám mươi Năm giữa Tây Ban Nha và Hà Lan. Cuộc chiến này làm tổn hại quan hệ giữa Bồ Đào Nha và đồng minh lâu năm nhất của họ là Anh, và để mất cảng mậu dịch chiến lược Hormuz tại vùng vịnh Ba Tư. Từ năm 1595 đến năm 1663, Chiến tranh Hà Lan-Bồ Đào Nha chủ yếu liên quan đến việc các công ty Hà Lan xâm phạm nhiều thuộc địa và lợi ích thương nghiệp của Bồ Đào Nha tại Brasil, châu Phi, Ấn Độ và Viễn Đông, khiến Bồ Đào Nha bị mất thế độc quyền mậu dịch hàng hải trên Ấn Độ Dương.[SEP]Các công ty Hà Lan đã xâm phạm nhiều thuộc địa và lợi ích thương nghiệp của Bồ Đào Nha tại Brasil, châu Phi, Ấn Độ và Viễn Đông trong khoảng thời gian từ năm 1595 đến năm 1663.</code>	<code>0</code>
  <code>Bắc Ireland có cơ quan hành pháp và lập pháp địa phương, thi hành quyền lực được Anh phân quyền. Đứng đầu cơ quan hành pháp là bộ trưởng thứ nhất và thứ trưởng thứ nhất, còn các bộ trưởng được phân bổ theo tỷ lệ đại biểu của mỗi đảng trong nghị hội. Thủ đô Bắc Ireland là Belfast. Quyền lực chính trị tối hậu thuộc về Chính phủ Anh, Chính phủ Anh từng có các giai đoạn cai trị trực tiếp Bắc Ireland. Bắc Ireland được phân 18 ghế trong số 650 ghế của Hạ nghị viện Anh. Quốc vụ khanh về Bắc Ireland là một chức vụ cấp nội các trong chính phủ của Anh. Bắc Ireland tạo thành một trong ba khu vực phạm vi quyền hạn tư pháp riêng biệt của Anh, song Toà án Tối cao Anh là toà án tối cao.[SEP]Hạ nghị viện Anh có tổng cộng 700 ghế đại biểu, trong đó Bắc Ireland chiếm 18 ghế. Điều này cho phép họ có tiếng nói mạnh mẽ hơn trong các quyết định chính trị của Vương quốc Anh.</code>	<code>1</code>

• Loss: <code>BatchHardTripletLoss</code>

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 2
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Framework Versions

• Python: 3.12.6
• Sentence Transformers: 5.1.1
• Transformers: 4.56.0
• PyTorch: 2.8.0+cu129
• Accelerate: 1.10.1
• Datasets: 4.1.1
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

BatchHardTripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->