Downloads · 30 days
54
17% of all-time downloads
batmangiaicuuthegioi/GTDB-EMBEDDING_MODEL-1epoch_1e-6
GTDB-EMBEDDING_MODEL-1epoch_1e-6 is a sentence similarity model from batmangiaicuuthegioi. Use it when you need a score for how close two texts are. It is set up for sentence-transformers.
This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mi…
Downloads · 30 days
54
17% of all-time downloads
All-time downloads
325
Public
Parameters
568M
2.3 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors2.3 GB · 99%
From the Hugging Face model README
This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("batmangiaicuuthegioi/GTDB-EMBEDDING_MODEL-1epoch_1e-6")
# Run inference
sentences = [
'Thứ tự ưu tiên khi các phương tiện xuống phà là gì?',
'Khi xuống phà, các phương tiện có động cơ như xe cơ giới và xe máy chuyên dùng sẽ được ưu tiên xuống trước. Sau đó mới đến lượt xe thô sơ và người đi bộ. (Theo Điểm b Khoản 3 Điều 23 [36/2024/QH15/23/3/b])',
'Sau khi qua phà, thứ tự ưu tiên lên bờ là người đi bộ sẽ lên trước tiên. Tiếp theo, các phương tiện giao thông khác sẽ lần lượt lên sau dưới sự điều phối của người điều khiển giao thông. (Theo Điểm b Khoản 3 Điều 23 [36/2024/QH15/23/3/b])',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7034, 0.6291],
# [0.7034, 1.0000, 0.7857],
# [0.6291, 0.7857, 1.0000]])
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
| sentence_0 | sentence_1 | sentence_2 | |
|---|---|---|---|
| type | string | string | string |
| details | <ul><li>min: 8 tokens</li><li>mean: 19.67 tokens</li><li>max: 31 tokens</li></ul> | <ul><li>min: 24 tokens</li><li>mean: 53.03 tokens</li><li>max: 123 tokens</li></ul> | <ul><li>min: 27 tokens</li><li>mean: 56.72 tokens</li><li>max: 96 tokens</li></ul> |
| sentence_0 | sentence_1 | sentence_2 |
|---|---|---|
| <code>Quy định cấm dừng, đỗ xe trước cổng trụ sở cơ quan áp dụng trong trường hợp nào?</code> | <code>Quy định này áp dụng đối với cổng của các trụ sở cơ quan, tổ chức có bố trí đường dành riêng cho xe ô tô đi ra, đi vào. Nếu chỉ là cổng đi bộ thì có thể không áp dụng. (Theo Điểm k Khoản 4 Điều 18 [36/2024/QH15/18/4/k])</code> | <code>Khi muốn đỗ xe gần cổng một cơ quan hoặc tổ chức, bạn phải đỗ xe cách cổng một khoảng tối thiểu là 05 mét về cả hai bên. Điều này nhằm đảm bảo lối đi luôn được thông thoáng. (Theo Điểm k Khoản 4 Điều 18 [36/2024/QH15/18/4/k])</code> |
| <code>Nếu tôi đến ngã tư không có vòng xuyến cùng lúc với một xe khác từ bên phải, ai được đi trước?</code> | <code>Xe đến từ bên phải của bạn sẽ được quyền đi trước. (Dẫn chứng: Khoản 2, Điều 22, 36/2024/QH15)</code> | <code>Không, bạn phải nhường đường cho xe đi đến từ bên trái. Căn cứ theo Khoản 3 Điều 22 [36/2024/QH15/22/3].</code> |
| <code>Xe của công nhân bảo trì đường cao tốc có được đi vào cao tốc không?</code> | <code>Có, phương tiện phục vụ việc quản lý, bảo trì đường cao tốc là trường hợp ngoại lệ được phép đi vào. Căn cứ theo Khoản 3 Điều 25 [36/2024/QH15/25/3].</code> | <code>Không, xe thô sơ (như xe đạp) không được phép đi trên đường cao tốc. Căn cứ theo Khoản 3 Điều 25 [36/2024/QH15/25/3].</code> |
{
"distance_metric": "TripletDistanceMetric.COSINE",
"triplet_margin": 0.05
}
per_device_train_batch_size: 32per_device_eval_batch_size: 32num_train_epochs: 1multi_dataset_batch_sampler: round_robinoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: noprediction_loss_only: Trueper_device_train_batch_size: 32per_device_eval_batch_size: 32per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.0warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters:auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: round_robinrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss |
|---|---|---|
| 0.9634 | 500 | 0.0084 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{hermans2017defense,
title={In Defense of the Triplet Loss for Person Re-Identification},
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
year={2017},
eprint={1703.07737},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->