nomic-embed-text-v1.5-ttt

SentenceTransformer based on nomic-ai/nomic-embed-text-v1.5

This is a sentence-transformers model finetuned from nomic-ai/nomic-embed-text-v1.5. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: nomic-ai/nomic-embed-text-v1.5 <!-- at revision d802ae16c9caed4d197895d27c6d529434cd8c6d -->
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/nomic-embed-text-v1.5-ttt")
# Run inference
sentences = [
    'bạn đeo nhẫn thuần khiết ở ngón tay nào',
    'Hầu hết các cô gái và chàng trai đeo chiếc nhẫn thuần khiết của họ trên ngón áp út của họ. Một số cô gái thích đeo nó trên ngón áp út của bàn tay trái, và thay thế nó bằng chiếc nhẫn cưới của họ. Nhẫn tinh khiết không dành riêng cho ngón tay đeo nhẫn; bạn có thể mặc nó bất cứ nơi nào thoải mái nhất cho bạn. Một số thậm chí đeo nhẫn của họ trên một chuỗi như một chiếc vòng cổ. Một.',
    'search_document: Gương mặt thân quen mùa 1 được phát sóng trên kênh VTV3 từ ngày 5 tháng 1 năm 2013 đến 23 tháng 3 năm 2013 với các thí sinh gồm Khởi My, Đại Nghĩa, Thúy Uyên, Kyo York, Phương Thanh và Chí Thiện. Bộ ba giám khảo chính là nhạc sĩ Đức Huy, ca sĩ Mỹ Linh và NSƯT Hoài Linh. Người dẫn chương trình mùa này là nghệ sĩ Thanh Bạch. Sau 10 tuần thi, kết quả chung cuộc giải nhất thuộc về thí sinh Khởi My.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 631,587 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 16.85 tokens</li><li>max: 62 tokens</li></ul>	<ul><li>min: 16 tokens</li><li>mean: 163.22 tokens</li><li>max: 1241 tokens</li></ul>

• Samples:

  anchor	positive
  <code>bạn có thể lấy hộ chiếu ở dmv không</code>	<code>Nộp đơn xin Hộ chiếu Hoa Kỳ tại Văn phòng DMV. Xuất bản 27/09/2001 01:53 PM
  <code>tổng số người mỹ thiệt mạng trong tất cả các cuộc chiến tranh</code>	<code>1 Con số chính thức của người Mỹ thiệt mạng trong Chiến tranh Cách mạng (4.435) chỉ bằng khoảng 2/3 con số mà các nhà sử học đưa ra. Tổng số người Mỹ thiệt mạng trong Nội chiến được đưa ra là 140.414 - cao hơn khoảng 30.000 so với hầu hết các nhà sử học ước tính. Tôi nghi ngờ (nhưng không biết chắc chắn) rằng sự gia tăng có thể đến từ việc DoD tính số người chết trong tù binh là chiến đấu hơn là bệnh tật.</code>
  <code>lý thuyết vụ nổ lớn được quay ở đâu</code>	<code>Thuyết Vụ nổ lớn được ghi hình tại Warner Bros. Studios ở Burbank, California. Bạn phải từ mười tám tuổi trở lên để tham gia buổi ghi hình Thuyết Vụ nổ lớn. Số lượng vé có hạn và nhu cầu rất cao. Vé được bán miễn phí trên TVTickets.com. Phần thứ 10 của Big Bang Theory hiện đang được sản xuất.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 300 evaluation samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 300 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 16.99 tokens</li><li>max: 66 tokens</li></ul>	<ul><li>min: 8 tokens</li><li>mean: 166.44 tokens</li><li>max: 940 tokens</li></ul>

• Samples:

  anchor	positive
  <code>lúa mạch đen được dùng làm gì và ăn ở pháp</code>	<code>Tiêu dùng và sử dụng của con người. Như đã nói trước đó, hầu hết lúa mạch đen được trồng ở châu Âu là để làm bánh mì. Canada có một số lượng hạn chế hạt lúa mạch đen được sử dụng để chưng cất và sử dụng thực phẩm, và ở Mỹ khoảng một nửa lúa mạch đen làm ngũ cốc được sử dụng cho những mục đích này (7, 8). Hạt lúa mạch đen được sử dụng để làm bột mì, thức ăn gia súc, hoặc bia. Nó cũng có thể được ăn toàn bộ, dưới dạng quả mọng lúa mạch đen luộc, hoặc bằng cách cuộn lại, tương tự như yến mạch cán (10).</code>
  <code>kỳ hạm của hải quân chúng tôi là gì</code>	<code>USS Hiến pháp là kỳ hạm truyền thống của Hải quân Hoa Kỳ. Và nó vẫn đang được thực hiện và được điều khiển bởi một thủy thủ đoàn Hải quân Hoa Kỳ. USS Constellation CVN-64 được Tổng thống Ronald Reagan đặt cho biệt danh là Chiến hạm của Hoa Kỳ. Nó hiện đã ngừng hoạt động và được thay thế trong hạm đội bằng tàu sân bay USS Ronald Reagan CVN-76.</code>
  <code>cửa sổ kính lớn nhất</code>	<code>Cửa sổ kính màu lớn nhất thế giới. Cửa sổ kính màu lớn nhất thế giới thực sự nằm trong lăng mộ tại Nghĩa trang Phục sinh ở Công lý. Nó chứa 2.448 tấm và rộng 22.381 feet vuông. Cũng cần lưu ý thêm, nó chỉ cách nhà máy cải tạo nước Stickney, cơ sở xử lý nước thải lớn nhất (vào tháng 7 và cả tháng 8, là cơ sở xử lý nước thải bốc mùi nhất trên thế giới, vài dặm ngắn) chỉ vài dặm ngắn.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->