reranker-ModernBERT-base-german-rag-pair-hard-negativemine

ModernBERT-large trained on German RAG Pairs (GPU)

This is a Cross Encoder model finetuned from answerdotai/ModernBERT-large using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: answerdotai/ModernBERT-large <!-- at revision 45bb4654a4d5aaff24dd11d4781fa46d39bf8c13 -->
• Maximum Sequence Length: 8192 tokens
• Number of Output Labels: 1 label

<!-- - **Training Dataset:** Unknown -->

• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("sp-embraceable/reranker-ModernBERT-base-german-rag-triples")
# Get scores for pairs of texts
pairs = [
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottland und Nordirland. Jedes Rechtssystem ist standardmäßig jeder Gerichtsbarkeit unterworfen, und die Rechtssysteme der jeweiligen Rechtsordnungen unterstützen das einschlägige Rechtssystem durch Rechtsprechung. Es sei jedoch darauf hingewiesen, dass im Privatrecht eine Person in bestimmten Rechtsordnungen das Recht anderer Rechtsordnungen in Anspruch nehmen kann, z. B. eine Gesellschaft in Edinburgh (Schottland) und eine Gesellschaft in Belfast (Nordirland), die nach englischem Recht Verträge schließen können. Dies ist im öffentlichen Recht (z. B. im Strafrecht) nicht anwendbar, wenn in jeder Rechtsordnung eine Verfahrensordnung festgelegt ist. Übergeordnete sind Gesetze des Vereinigten Königreichs, die auch (seltener) als britisches Recht bezeichnet werden. Britisches Recht entsteht, wenn Gesetze für das Vereinigte Königreich und / oder seine Bürger insgesamt gelten, am offensichtlichsten das Verfassungsrecht, aber auch andere Bereiche, beispielsweise das Steuerrecht.'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".'],
    ['Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.', 'Ein Vorteil von Viktimisierungsstudien gegenüber Polizeistatistiken ist, dass auch das Dunkelfeld betrachtet wird. Bei der Analyse langjähriger Trends kann sich jedoch der sich verändernde, gesellschaftliche Toleranzlevel verfälschend auswirken. Vor allem Fälle von Körperverletzung und sexuelle Übergriffe werden heute eher als kriminell eingestuft als noch vor Jahrzehnten.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.',
    [
        'England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.',
        'Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottland und Nordirland. Jedes Rechtssystem ist standardmäßig jeder Gerichtsbarkeit unterworfen, und die Rechtssysteme der jeweiligen Rechtsordnungen unterstützen das einschlägige Rechtssystem durch Rechtsprechung. Es sei jedoch darauf hingewiesen, dass im Privatrecht eine Person in bestimmten Rechtsordnungen das Recht anderer Rechtsordnungen in Anspruch nehmen kann, z. B. eine Gesellschaft in Edinburgh (Schottland) und eine Gesellschaft in Belfast (Nordirland), die nach englischem Recht Verträge schließen können. Dies ist im öffentlichen Recht (z. B. im Strafrecht) nicht anwendbar, wenn in jeder Rechtsordnung eine Verfahrensordnung festgelegt ist. Übergeordnete sind Gesetze des Vereinigten Königreichs, die auch (seltener) als britisches Recht bezeichnet werden. Britisches Recht entsteht, wenn Gesetze für das Vereinigte Königreich und / oder seine Bürger insgesamt gelten, am offensichtlichsten das Verfassungsrecht, aber auch andere Bereiche, beispielsweise das Steuerrecht.',
        'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".',
        'Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".',
        'Ein Vorteil von Viktimisierungsstudien gegenüber Polizeistatistiken ist, dass auch das Dunkelfeld betrachtet wird. Bei der Analyse langjähriger Trends kann sich jedoch der sich verändernde, gesellschaftliche Toleranzlevel verfälschend auswirken. Vor allem Fälle von Körperverletzung und sexuelle Übergriffe werden heute eher als kriminell eingestuft als noch vor Jahrzehnten.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: german-rag-pairs-dev
• Evaluated with <code>CrossEncoderRerankingEvaluator</code> with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Cross Encoder Reranking

• Datasets: NanoMSMARCO_R100, NanoNFCorpus_R100 and NanoNQ_R100
• Evaluated with <code>CrossEncoderRerankingEvaluator</code> with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": true
  }
  

Cross Encoder Nano BEIR

• Dataset: NanoBEIR_R100_mean
• Evaluated with <code>CrossEncoderNanoBEIREvaluator</code> with these parameters:

  {
      "dataset_names": [
          "msmarco",
          "nfcorpus",
          "nq"
      ],
      "rerank_k": 100,
      "at_k": 10,
      "always_rerank_positives": true
  }
  

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 54,000 training samples
• Columns: <code>question</code>, <code>answer</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	question	answer	label
  type	string	string	int
  details	<ul><li>min: 100 characters</li><li>mean: 173.53 characters</li><li>max: 544 characters</li></ul>	<ul><li>min: 107 characters</li><li>mean: 715.26 characters</li><li>max: 3589 characters</li></ul>	<ul><li>0: ~83.30%</li><li>1: ~16.70%</li></ul>

• Samples:

  question	answer	label
  <code>Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.</code>	<code>England und Wales ist eine Region mit gemeinsamer Rechtsprechung innerhalb des Vereinigten Königreichs. Das nationale Statistikbüro führt hier seit 1982 in regelmäßigen Abständen Viktimisierungsstudien durch. Zufällig ausgewählte Personen werden dabei befragt, ob und gegebenenfalls in welcher Form sie im vergangenen Jahr Kriminalitätsopfer geworden sind. Es zeigt sich ein Anstieg bis 1995 und seither ein Kriminalitätsrückgang. Das entspricht dem typischen Verlauf in einem Land der westlichen Welt.</code>	<code>1</code>
  <code>Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.</code>	<code>Auf subnationaler Ebene verfügt das Vereinigte Königreich über drei Rechtssysteme, die jeweils aus einem bestimmten geografischen Gebiet mit verschiedenen historischen Hintergründen stammen: englisches Recht, schottisches Recht und nordirisches Recht. Seit 2007 besteht infolge der Verabschiedung des Government of Wales Act 2006 durch das Parlament des Vereinigten Königreichs auch rein walisisches Recht, das aber im Gegensatz zu den drei anderen kein eigenständiges Rechtssystem an sich ist. Es handelt sich lediglich um das Primär- und Sekundärrecht, das von der Nationalversammlung für Wales erstellt und gemäß den Lehren des englischen Rechts ausgelegt wurde. Es hat keinen Einfluss auf das englische Common Law (es sei denn, ein solches Gesetz ersetzt eine Common-Law-Regel, weil es eine übergeordnete Rechtsform ist). Es besteht eine erhebliche Überschneidung zwischen diesen drei Rechtssystemen und den drei Gerichtsbarkeiten des Vereinigten Königreichs, nämlich England und Wales, Schottlan...</code>	<code>0</code>
  <code>Das nationale Statistikbüro in England und Wales führt seit 1982 regelmäßige Viktimisierungsstudien durch. Die Ergebnisse zeigen einen Anstieg bis 1995 und seither einen Kriminalitätsrückgang.</code>	<code>Eine Volkszählung wird gleichzeitig in allen Teilen Großbritanniens alle zehn Jahre durchgeführt. Das Office for National Statistics sammelt die Daten in England und Wales. Für Schottland ist die dortige Regierungsbehörde "National Records of Scotland" zuständig, für Nordirland die "Northern Ireland Statistics and Research Agency".</code>	<code>0</code>

• Loss: <code>BinaryCrossEntropyLoss</code> with these parameters:

  {
      "activation_fn": "torch.nn.modules.linear.Identity",
      "pos_weight": 5.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 8
• dataloader_prefetch_factor: 2
• remove_unused_columns: False
• load_best_model_at_end: True

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 8
• dataloader_prefetch_factor: 2
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: False
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.0.0
• Transformers: 4.54.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->