SITGES-bge-FT2

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("adriansanz/sitges1024-bai-batchalltriplets")
# Run inference
sentences = [
    "Acceptació / Renúncia Subvencions per a projectes i activitats a entitats de l'àmbit de polítiques socials  Descripció",
    "Subvencions per al desenvolupament i/o consolidació de sectors econòmics del municipi Subvencions per a entitats destinades a fomentar el desenvolupament i la consolidació de sectors econòmics locals. L'objectiu és impulsar iniciatives per millorar la competitivitat, la generació d'ocupació i potenciar el naixement de nous sectors econòmics en el municipi i l’enfortiment dels existents, contribuint així al creixement econòmic sostenible i al benestar de la comunitat. Per valorar l’interès de la proposta es tindrà en compte: Tipus d’activitat Antecedents Dates de celebració Accions de promoció dutes a terme des de l’organització",
    "Autorització d'accés a les àrees de vianants Permet obtenir l'autorització municipal per l'accés de vehicles a les àrees restringides a vianants establer-tes al municipi (actualment nucli de Garraf i Platja de Sant Sebastià). Les persones interessades poden presentar aquesta sol·lictud, i en cas de compliment dels requisits establerts (persones residents, titulars de plaça d'aparcament, autotaxis, establiments hotelers), se'ls traslladarà la resolució d’autorització.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 237 training samples
• Columns: <code>sentence</code> and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	sentence	label
  type	string	int
  details	<ul><li>min: 13 tokens</li><li>mean: 135.46 tokens</li><li>max: 629 tokens</li></ul>	<ul><li>286: ~0.42%</li><li>288: ~0.42%</li><li>290: ~0.42%</li><li>291: ~0.42%</li><li>293: ~0.42%</li><li>295: ~0.42%</li><li>298: ~0.42%</li><li>302: ~0.42%</li><li>303: ~0.42%</li><li>304: ~0.42%</li><li>306: ~0.42%</li><li>309: ~0.42%</li><li>311: ~0.42%</li><li>313: ~0.42%</li><li>314: ~0.42%</li><li>315: ~0.42%</li><li>316: ~0.42%</li><li>320: ~0.42%</li><li>321: ~0.42%</li><li>322: ~0.42%</li><li>323: ~0.42%</li><li>324: ~0.42%</li><li>325: ~0.42%</li><li>327: ~0.42%</li><li>328: ~0.42%</li><li>331: ~0.42%</li><li>332: ~0.42%</li><li>333: ~0.42%</li><li>336: ~0.42%</li><li>338: ~0.42%</li><li>339: ~0.42%</li><li>346: ~0.42%</li><li>347: ~0.42%</li><li>355: ~0.42%</li><li>356: ~0.42%</li><li>357: ~0.42%</li><li>360: ~0.42%</li><li>361: ~0.42%</li><li>364: ~0.42%</li><li>366: ~0.42%</li><li>367: ~0.42%</li><li>368: ~0.42%</li><li>369: ~0.42%</li><li>370: ~0.42%</li><li>373: ~0.42%</li><li>376: ~0.42%</li><li>378: ~0.42%</li><li>384: ~0.42%</li><li>385: ~0.42%</li><li>386: ~0.42%</li><li>387: ~0.42%</li><li>390: ~0.42%</li><li>394: ~0.42%</li><li>400: ~0.42%</li><li>401: ~0.42%</li><li>405: ~0.42%</li><li>413: ~0.42%</li><li>417: ~0.42%</li><li>418: ~0.42%</li><li>419: ~0.42%</li><li>420: ~0.42%</li><li>422: ~0.42%</li><li>432: ~0.42%</li><li>443: ~0.42%</li><li>452: ~0.42%</li><li>455: ~0.42%</li><li>458: ~0.42%</li><li>463: ~0.42%</li><li>469: ~0.42%</li><li>470: ~0.42%</li><li>471: ~0.42%</li><li>475: ~0.42%</li><li>478: ~0.42%</li><li>480: ~0.42%</li><li>481: ~0.42%</li><li>485: ~0.42%</li><li>487: ~0.42%</li><li>489: ~0.42%</li><li>491: ~0.42%</li><li>492: ~0.42%</li><li>493: ~0.42%</li><li>494: ~0.42%</li><li>495: ~0.42%</li><li>497: ~0.42%</li><li>500: ~0.42%</li><li>502: ~0.42%</li><li>506: ~0.42%</li><li>522: ~0.42%</li><li>533: ~0.42%</li><li>536: ~0.42%</li><li>547: ~0.42%</li><li>548: ~0.42%</li><li>551: ~0.42%</li><li>553: ~0.42%</li><li>554: ~0.42%</li><li>558: ~0.42%</li><li>559: ~0.42%</li><li>561: ~0.42%</li><li>562: ~0.42%</li><li>563: ~0.42%</li><li>564: ~0.42%</li><li>565: ~0.42%</li><li>566: ~0.42%</li><li>567: ~0.42%</li><li>569: ~0.42%</li><li>570: ~0.42%</li><li>571: ~0.42%</li><li>572: ~0.42%</li><li>573: ~0.42%</li><li>574: ~0.42%</li><li>575: ~0.42%</li><li>576: ~0.42%</li><li>577: ~0.42%</li><li>582: ~0.42%</li><li>584: ~0.42%</li><li>585: ~0.42%</li><li>586: ~0.42%</li><li>587: ~0.42%</li><li>590: ~0.42%</li><li>591: ~0.42%</li><li>592: ~0.42%</li><li>593: ~0.42%</li><li>594: ~0.42%</li><li>595: ~0.42%</li><li>596: ~0.42%</li><li>597: ~0.42%</li><li>598: ~0.42%</li><li>599: ~0.42%</li><li>600: ~0.42%</li><li>601: ~0.42%</li><li>602: ~0.42%</li><li>603: ~0.42%</li><li>604: ~0.42%</li><li>605: ~0.42%</li><li>606: ~0.42%</li><li>607: ~0.42%</li><li>608: ~0.42%</li><li>609: ~0.42%</li><li>610: ~0.42%</li><li>611: ~0.42%</li><li>612: ~0.42%</li><li>614: ~0.42%</li><li>615: ~0.42%</li><li>616: ~0.42%</li><li>617: ~0.42%</li><li>618: ~0.42%</li><li>619: ~0.42%</li><li>620: ~0.42%</li><li>621: ~0.42%</li><li>622: ~0.42%</li><li>623: ~0.42%</li><li>624: ~0.42%</li><li>625: ~0.42%</li><li>626: ~0.42%</li><li>627: ~0.42%</li><li>628: ~0.42%</li><li>629: ~0.42%</li><li>630: ~0.42%</li><li>632: ~0.42%</li><li>633: ~0.42%</li><li>634: ~0.42%</li><li>635: ~0.42%</li><li>636: ~0.42%</li><li>637: ~0.42%</li><li>638: ~0.42%</li><li>639: ~0.42%</li><li>640: ~0.42%</li><li>641: ~0.42%</li><li>642: ~0.42%</li><li>643: ~0.42%</li><li>644: ~0.42%</li><li>645: ~0.42%</li><li>646: ~0.42%</li><li>647: ~0.42%</li><li>648: ~0.42%</li><li>649: ~0.42%</li><li>650: ~0.42%</li><li>651: ~0.42%</li><li>652: ~0.42%</li><li>653: ~0.42%</li><li>654: ~0.42%</li><li>655: ~0.42%</li><li>656: ~0.42%</li><li>657: ~0.42%</li><li>658: ~0.42%</li><li>659: ~0.42%</li><li>660: ~0.42%</li><li>661: ~0.42%</li><li>662: ~0.42%</li><li>663: ~0.42%</li><li>664: ~0.42%</li><li>666: ~0.42%</li><li>667: ~0.42%</li><li>668: ~0.42%</li><li>669: ~0.42%</li><li>670: ~0.42%</li><li>671: ~0.42%</li><li>672: ~0.42%</li><li>673: ~0.42%</li><li>674: ~0.42%</li><li>675: ~0.42%</li><li>676: ~0.42%</li><li>677: ~0.42%</li><li>678: ~0.42%</li><li>679: ~0.42%</li><li>680: ~0.42%</li><li>681: ~0.42%</li><li>682: ~0.42%</li><li>683: ~0.42%</li><li>684: ~0.42%</li><li>685: ~0.42%</li><li>686: ~0.42%</li><li>687: ~0.42%</li><li>688: ~0.42%</li><li>689: ~0.42%</li><li>690: ~0.42%</li><li>691: ~0.42%</li><li>692: ~0.42%</li><li>693: ~0.42%</li><li>694: ~0.42%</li><li>695: ~0.42%</li><li>696: ~0.42%</li><li>697: ~0.42%</li><li>698: ~0.42%</li><li>699: ~0.42%</li><li>700: ~0.42%</li><li>701: ~0.42%</li><li>702: ~0.42%</li><li>703: ~0.42%</li><li>704: ~0.42%</li><li>705: ~0.42%</li><li>706: ~0.42%</li><li>707: ~0.42%</li><li>708: ~0.42%</li><li>709: ~0.42%</li><li>710: ~0.42%</li><li>711: ~0.42%</li></ul>

• Samples:

  sentence	label
  <code>Presentació de sol·licituds per a l'atorgament de llicència d'ús privatiu del domini públic local Aquest tràmit permet la presentació de sol·licituds per a l’autorització a favor de tercers perquè utilitzin de forma privativa una porció de domini públic local, amb caràcter temporal i sense la seva transformació, pel seu posterior destí a la realització d’activitats d'interès. En funció del número de sol·licituds presentades en cada convocatòria es procedirà a l'atorgament de la llicència: de forma directa si no hi ha pluralitat de sol·licitants, o mitjançant previ concurs en cas que existeixi una pluralitat de sol·licitants.</code>	<code>647</code>
  <code>Ajuts per fomentar l'associacionisme empresarial local Aquest ajut pretén fomentar l’associacionisme empresarial local, per tal de disposar d’agrupacions, gremis o associacions representatives de l’activitat empresarial del municipi.</code>	<code>636</code>
  <code>Baixa al padró municipal d'habitants (persones estrangeres que marxen del país, o per defunció ...) No es poden realitzar inscripcions de baixa per canvi de municipi o país de residencia a petició de les persones interessades, tret de les persones estrangeres que traslladin la seva residència a un altre país. Les persones amb nacionalitat espanyola que estableixin la residencia en un altra municipi o país hauran de comunicar la inscripció en el Padró del nou municipi de residència o en el Registre de Matrícula de l'Oficina o Secció Consular del país de destinació. El tràmit de baixa del padró municipal d'habitants només es pot sol·lictar en les següents situacions: Persones estrangeres empadronades que traslladen la seva residència a un altre país. Defunció. L'Institut Nacional d'Estadística, a instàncies del Registre Civil, comunica periòdicament les baixes per defunció a l'Ajuntament. Si es necessita que aquesta baixa es produeixi a la major brevetat possible, es pot realitzar aquest tràmit aportant el certificat de defunció, o el llibre de família. Inclusió indeguda: Aquesta baixa afecta a persones que figuren empadronades en un domicili i ja no hi resideixen. La persona empadronada, o titular de l'habitatge, pot comunicar aquesta situació, i l'ajuntament comprovarà aquesta circunstancia amb la tramitació de l'expedient corresponent. En el cas que la persona interessada no manifesti expresament la seva conformitat, la baixa només es podrà resoldre amb informe favorable del Consejo de Empadronamiento. L'Ajuntament de Sitges també pot iniciar d'ofici aquests tipus d'expedients.</code>	<code>394</code>

• Loss: <code>BatchAllTripletLoss</code>

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.3.1+cu121
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

BatchAllTripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification}, 
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->