static-retrieval-distilbert-ptbr

SentenceTransformer

This is a sentence-transformers model trained on the all_triplets_ms_marco-ptbr dataset. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer

<!-- - **Base model:** [Unknown](https://huggingface.co/unknown) -->

• Maximum Sequence Length: inf tokens
• Output Dimensionality: 512 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • all_triplets_ms_marco-ptbr
• Language: pt

<!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): StaticEmbedding(
    (embedding): EmbeddingBag(29794, 512, mode='mean')
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("cnmoro/static-retrieval-distilbert-ptbr")
# Run inference
sentences = [
    'o que ajuda a síndrome de ibs',
    'óleo de hortelã-revestida com antecérico é amplamente utilizado para a síndrome do intestino irritável. Tem a intenção de reduzir a dor abdominal e inchaço da síndrome do intestino irritável. Peppermint é considerada uma erva carminativa, o que significa que é usado para eliminar o excesso de gás nos intestinos. Embora novas pesquisas sejam necessárias, estudos preliminares indicam que pode aliviar os sintomas da SII".',
    'diarreia ou prisão de ventre que não responde ao tratamento domiciliar".',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Datasets: NanoClimateFEVER, NanoDBPedia, NanoFEVER, NanoFiQA2018, NanoHotpotQA, NanoMSMARCO, NanoNFCorpus, NanoNQ, NanoQuoraRetrieval, NanoSCIDOCS, NanoArguAna, NanoSciFact and NanoTouche2020
• Evaluated with <code>InformationRetrievalEvaluator</code>

Nano BEIR

• Dataset: NanoBEIR_mean
• Evaluated with <code>NanoBEIREvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

all_triplets_ms_marco-ptbr

• Dataset: all_triplets_ms_marco-ptbr at f934503
• Size: 25,863,649 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 5 characters</li><li>mean: 35.31 characters</li><li>max: 105 characters</li></ul>	<ul><li>min: 31 characters</li><li>mean: 356.8 characters</li><li>max: 1050 characters</li></ul>	<ul><li>min: 13 characters</li><li>mean: 359.92 characters</li><li>max: 1153 characters</li></ul>

• Samples:

  anchor	positive	negative
  <code>partes mais quentes da califórnia em dezembro</code>	<code>as melhores praias da Califórnia para o clima quente do inverno estão ao longo da costa sul, particularmente as margens viradas para o sul. As temperaturas mais quentes acontecem em Avila Beach, Long Beach e Laguna Beach, onde os dias se dem até pelo menos 67 graus F (19 C) em média em dezembro e janeiro".</code>	<code>Outros destinos da ilha do Caribe com uma combinação de clima quente e não muita chuva em dezembro incluem Kingston, Jamaica (87 F), St. Kitts (85 F) e Nassau, Bahamas (79 F). Nos EUA continentais, o clima de férias mais quente em dezembro é mais frequentemente a Flórida. Tente afundar seus dedos na areia branca quente e macia de Nápoles e Sarasota, dois dos nossos locais de férias de inverno românticos da Flórida da Costa do Golfo da Flórida".</code>
  <code>definição de anosmia</code>	<code>Anosmia (/aen-É-zmiÉ/) A sÉ-zmiÉ é a incapacidade de perceber o odor ou a falta de funcionamento da autaraction a perda do sentido.</code>	<code>Anemia é um termo médico que se refere a um número reduzido de glóbulos vermelhos circulantes (RBC), hemoglobina (Hb), ou ambos. Não é uma doença específica, mas sim o resultado de algum outro processo de doença ou condição.nemia é um termo médico referindo-se a um número reduzido de glóbulos vermelhos circulantes (RBC), hemoglobina (Hb), ou ambos. Não é uma doença específica, mas sim o resultado de algum outro processo ou condição de doença".</code>
  <code>can fêmeas obter hemofilia</code>	<code>uma fêmea que herda um afetado x cromossomo torna-se um portador de hemofilia que ela pode passar o gene afetado para seus filhos, além de uma mulher que é um portador às vezes pode ter sintomas de hemofilia na verdade alguns médicos descrevem essas mulheres como tendo mulheres leves que carregam o gene da hemofilia que carregam o gene da hemofilia e têm quaisquer sintomas do transtorno deve ser verificado e cuidado por um provedor de saúde de boa qualidade cuidados médicos e enfermeiros que podem evitar que os problemas sérios que saibam que muitos.</code>	<code>Hemofilia é um X ligado ou sexo ligado a doença hereditária que significa que o defeito é realizado no cromossomo X. As fêmeas têm dois cromossomos X e os machos têm um cromossomo X e um cromossomo Y. O cromossomo X, que carrega o gene da hemofilia em homens, faz com que Fator VIII ou Fator IX esteja ausente ou deficiente (nível baixo). Cada criança de um portador de hemofilia tem 50% de chance de ser afetada pela hemofilia; seja ter hemofilia para um macho ou ser portadora de uma mulher".</code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512,
          384,
          256,
          128,
          64,
          32,
          16,
          8
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

all_triplets_ms_marco-ptbr

• Dataset: all_triplets_ms_marco-ptbr at f934503
• Size: 527,832 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 6 characters</li><li>mean: 36.15 characters</li><li>max: 193 characters</li></ul>	<ul><li>min: 20 characters</li><li>mean: 360.3 characters</li><li>max: 1097 characters</li></ul>	<ul><li>min: 14 characters</li><li>mean: 365.67 characters</li><li>max: 1145 characters</li></ul>

• Samples:

  anchor	positive	negative
  <code>diferença entre o ovo cozido duro e o ovo escalfado</code>	<code>o ovo é escalfado (ou cozido) quando o branco é cozido e a gema ainda é escorrendo, um ovo cozido duro é cozido em sua casca por 7 a 8 minutos até que seja cozido sólido todo o caminho. Carmen D 4 anos atrás. Os polegares para cima. 0".</code>	<code>mexidos, escalfados, fritos ou cozidos, e dado todas essas variações, a questão de longa duração que eles podem ser armazenados com segurança é uma boa a considerar. Uma bactéria chamada Salmonella enteritidis pode estar presente dentro da gema, mas ovos duros os torna seguros para comer".</code>
  <code>quando você pode coletar segurança social se deficientes</code>	<code>Como a Segurança Social pagará benefícios de invalidez a uma pessoa com deficiência é determinada pela data em que você apresentou sua reivindicação de deficiência ao se candidatar à segurança social e/ou incapacidade da SSI.</code>	<code>Se for esse o caso, você não terá mais direito a benefícios de Deficiência da Segurança Social, mas você pode ter direito a benefícios de aposentadoria da Previdência Social uma vez que você atinja a idade de 65 anos. Se você decidir voltar ao trabalho seus benefícios não vai parar imediatamente. Você pode ganhar renda em uma base de â-trialâ para até nove meses antes de seus benefícios de Deficiência Social são revogados. Se você tentar voltar ao trabalho e descobrir que você é incapaz de lidar com isso, seus Benefícios de Segurança Social não terminará.ou pode ganhar renda em uma base de âtrialâ por até nove meses antes de seus benefícios de deficientes de segurança social são revogados. Se você tentar voltar ao trabalho e descobrir que não consegue lidar com isso, seus Benefícios de Segurança Social não terminarão".</code>
  <code>número de contato da sede da união ocidental</code>	<code>número de telefone da União Ocidental. O número e as etapas abaixo são votados no 1 de 4 por mais de 7190 clientes da Western Union. 800-999-9660. Suporte telefônico da Western Union. Leia as principais etapas e dicas abaixo. Eles chamam você em vez dissoNão esperando em espera. Free.ress 1 e continue pressionando 0. Este número de telefone é popular entre outros clientes da Western Union, mas não se esqueça de seguir os 6 passos mais abaixo".</code>	<code>Neste artigo eu listei o número de telefone de serviço ao cliente Western Union essencial e o número de telefone de contato e números gratuitos para a Western Union. Western Union operando em muitos países, então eu listei números de telefone de atendimento ao cliente internacional Western Union. Se você é o cliente da Western Union e gosta de saber informações sobre produtos e serviços da Western Union, basta usar os seguintes números".</code>

• Loss: <code>MatryoshkaLoss</code> with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512,
          384,
          256,
          128,
          64,
          32,
          16,
          8
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 512
• per_device_eval_batch_size: 512
• learning_rate: 0.2
• num_train_epochs: 5
• warmup_ratio: 0.1
• bf16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 512
• per_device_eval_batch_size: 512
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 0.2
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>

The model card is truncated. Read the rest on Hugging Face.