arcade-reranker

CrossEncoder based on Alibaba-NLP/gte-reranker-modernbert-base

This is a Cross Encoder model finetuned from Alibaba-NLP/gte-reranker-modernbert-base on the arcade-reranker-data dataset using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: Alibaba-NLP/gte-reranker-modernbert-base <!-- at revision f7481e6055501a30fb19d090657df9ec1f79ab2c -->
• Maximum Sequence Length: 1024 tokens
• Number of Output Labels: 1 label
• Training Dataset:
  • arcade-reranker-data

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("idqo/arcade-reranker")
# Get scores for pairs of texts
pairs = [
    ['Dus de einklant betaalt in totaal ook de onbalansprijs? Die dus bestaat uit het gewone tarief + verschil om tot onbalansprijs te komen?', 'Imbalance Price (Electricity Balancing Market): (a) each imbalance settlement period; (b) its imbalance price areas; (c) each imbalance direction. 4. The imbalance price for negative imbalance ...'],
    ['Kun je een lijst geven van alle technische specificaties geven waar je rekening mee moet houden bij een transformator', 'Handmelders: Manuele brandmelders.'],
    ['Wat weetje van dataloggers?', 'geen nummers op tellers. Facturatiegegevens?'],
    ['Ik ben op zoek naar info over magneetcontacten, die standaard deuren open houden, maar in geval van brand contact lossen en ervoor zorgen dat deuren sluiten. worden deze contacten gevoed vanuit de brandcentrale, of vanuit een voeding 230V AC , die geschakeld wordt vanuit de centrale? ', 'Algemene beveiliging: Beveiligingscel: merk, type met zekering, type met relais en vermogenschakelaar, vermogen, relais.'],
    ['Geef een overzicht van allemogelijke geldstromen in de verschillende transfer of energy regimes', 'Taksen, heffingen & accijnzen: Belastingen op elektriciteit.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Dus de einklant betaalt in totaal ook de onbalansprijs? Die dus bestaat uit het gewone tarief + verschil om tot onbalansprijs te komen?',
    [
        'Imbalance Price (Electricity Balancing Market): (a) each imbalance settlement period; (b) its imbalance price areas; (c) each imbalance direction. 4. The imbalance price for negative imbalance ...',
        'Handmelders: Manuele brandmelders.',
        'geen nummers op tellers. Facturatiegegevens?',
        'Algemene beveiliging: Beveiligingscel: merk, type met zekering, type met relais en vermogenschakelaar, vermogen, relais.',
        'Taksen, heffingen & accijnzen: Belastingen op elektriciteit.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Cross Encoder Reranking

• Datasets: NanoMSMARCO_R100, NanoNFCorpus_R100 and NanoNQ_R100
• Evaluated with <code>CrossEncoderRerankingEvaluator</code> with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

Cross Encoder Nano BEIR

• Dataset: NanoBEIR_R100_mean
• Evaluated with <code>CrossEncoderNanoBEIREvaluator</code> with these parameters:

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "dataset_id": "sentence-transformers/NanoBEIR-en",
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

arcade-reranker-data

• Dataset: arcade-reranker-data at 9e3c538
• Size: 2,277 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	<ul><li>min: 2 characters</li><li>mean: 103.67 characters</li><li>max: 558 characters</li></ul>	<ul><li>min: 13 characters</li><li>mean: 518.43 characters</li><li>max: 25528 characters</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.31</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	label
  <code>Kan je daarvoor op het internet kijken?</code>	<code>Er wordt gewerkt aan de datanetwerk-infrastructuur voor het project, waarbij energiemeters worden aangesloten op een fibernetwerk [5], [6], [7]. Er is een vaste internetverbinding aangevraagd, die door EXV wordt verzorgd en bij oplevering wordt overgedragen [4], [6], [8]. De Gateway van Tibo moet worden geïnstalleerd en verbonden met het netwerk, waarbij zowel 4G als een internetverbinding opties zijn, met redundantie als aanbeveling [2], [4], [6], [8]. Extravolt is verantwoordelijk voor het opzetten van de netwerkconfiguratie en stemt af met Tibo [4], [6]. Er wordt gekeken welke componenten verbinding maken met de cloud of internet, naast het EMS van Tibo, en hoe de batterij wordt uitgelezen door EXV voor de beschikbaarheidsgarantie, waarschijnlijk via VPN [2], [4], [6], [7], [8]. De meti</code>	<code>0.6666666666666666</code>
  <code>Geef een generieke template voor verlichtingsberekingen in een lastenboek</code>	<code>Issue: nu blijkt dat er ook een datacenter aangesloten gaat moeten worden.<br>In welke mate kan dat om met +-10% -> dit gaat meer algemeen moeten bekeken worden.<br>- Hier is logica van antwoord dat de neteheerders zowiezo moeten voldoen aan een maximale marge van +-10% van hun uitgangsspanning.<br>- Die norm is aangeleverd door Infrabel.<br>- Dit betekent dat elektrische apparatuur die in het belgische net gezet wordt, moet bestand zijn aan schommelingen van +-10% Artikel 10. Variaties in spanning en frequ</code>	<code>0.0</code>
  <code>Moet er oven brandhaspels altijd een noodverlichting voorzien worden? In welke norm vind ik hier info over</code>	<code>REFERENTIENORMEN | Standard | Description |<br>|---|---|<br>| NBN 01 | Woordenlijst voor de verlichtingskunde (2001) |<br>| NBN EN 60598 (1989) | Elektrische verlichtingstoestellen (1989) |<br>| NBN EN 60598-2-2 | Verlichtingstoestellen - Deel twee : Bijzondere regels - Sectie twee : Inbouw verlichtingstoestellen (1990) |<br>| Reeks NBN 60598 | Verlichtingsarmaturen |<br>| NBN C 20-530 | Beschermingsgraden gegeven door de omhulsels (IP-Code) (1992) + add (1000) |<br>| NBN EN 60001 | Lampen en in - houders alsmede kalibers voor controle van uitwisselbaarheid & veiligheid 1-3 (2003) |<br>| NBN EN 1838 | Toegepaste verlichtingstechniek - Noodverlichting (1999) |<br>| NBN L 14-001 & 002 | Binnenverlichting van de gebouwen (1974) |<br>| NBN EN 60335-1 | Huishoudelijke en soortgelijke elektrische toestellen - Veiligheid - Deel 1 : Algemene eisen (2003) |<br>| NBN EN 12464 | Binnenverlichting (2008) |<br>| NBN EN 1838 | Veiligheidsverlichting (2013) |<br>| EN 12464-1 | werkplekverlichting (2002) |<br>| ISO 3864-1 en ISO 3864-4 | (fot...</code>	<code>0.0643</code>

• Loss: <code>BinaryCrossEntropyLoss</code> with these parameters:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": null
  }
  

Evaluation Dataset

arcade-reranker-data

• Dataset: arcade-reranker-data at 9e3c538
• Size: 400 evaluation samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
• Approximate statistics based on the first 400 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	<ul><li>min: 27 characters</li><li>mean: 108.77 characters</li><li>max: 558 characters</li></ul>	<ul><li>min: 13 characters</li><li>mean: 404.07 characters</li><li>max: 11988 characters</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.32</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	label
  <code>Dus de einklant betaalt in totaal ook de onbalansprijs? Die dus bestaat uit het gewone tarief + verschil om tot onbalansprijs te komen?</code>	<code>Imbalance Price (Electricity Balancing Market): (a) each imbalance settlement period; (b) its imbalance price areas; (c) each imbalance direction. 4. The imbalance price for negative imbalance ...</code>	<code>0.3</code>
  <code>Kun je een lijst geven van alle technische specificaties geven waar je rekening mee moet houden bij een transformator</code>	<code>Handmelders: Manuele brandmelders.</code>	<code>0.2222</code>
  <code>Wat weetje van dataloggers?</code>	<code>geen nummers op tellers. Facturatiegegevens?</code>	<code>0.0256</code>

• Loss: <code>BinaryCrossEntropyLoss</code> with these parameters:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": null
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• learning_rate: 1e-05
• warmup_steps: 0.1
• bf16: True
• eval_strategy: steps
• per_device_eval_batch_size: 16
• push_to_hub: True
• hub_model_id: idqo/arcade-reranker
• load_best_model_at_end: True

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 16
• num_train_epochs: 3
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• eval_strategy: steps
• per_device_eval_batch_size: 16
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: True
• hub_private_repo: None
• hub_model_id: idqo/arcade-reranker
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.3.0
• Transformers: 5.3.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.7.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->