revosax-granite-embedding-278m-multilingual

ibm-granite/granite-embedding-278m-multilingual trained on german Natural Questions pairs

This is a sentence-transformers model finetuned from ibm-granite/granite-embedding-278m-multilingual on the csv dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: ibm-granite/granite-embedding-278m-multilingual <!-- at revision 6ecb2d4c423c03f21c3a511f4227ee7d10d0facd -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv
• Language: de
• License: apache-2.0

Model Sources

• Repository and Code: GitHub Repo with training Code

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("oliverguhr/revosax-granite-embedding-278m-multilingual")
# Run inference
sentences = [
    'Was muss ich beachten, wenn ich eine Erlaubnis zum Verbringen von Waffen oder Munition aus Deutschland beantragen möchte?',
    '## Zehntes Sächsisches Kostenverzeichnis 99 Waffenrecht\r\n 1 Hs. 2 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 269 bis 2 694 | | 3.3 | Bewilligung von Fristverlängerung nach § 21 Abs. 5 Satz 2 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 25 Prozent der nach Tarifstelle 3.1 oder 3.2 festgesetzten Gebühr | | 3.4 | Erlaubnis zum nichtgewerbsmäßigen Herstellen, Bearbeiten oder Instandsetzen von Schusswaffen nach § 26 Abs. 1 Satz 1 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 140 bis 680 | | 3.5 | Erlaubnis zum Betrieb oder zur wesentlichen Änderung ihrer Beschaffenheit oder Art der Nutzung einer Schießstätte einschließlich Abnahmeprüfung nach § 27 Abs. 1 Satz 1 [WaffG](/federal_laws/431/redirect "Waffengesetz"), einschließlich Abnahmeprüfung | 140 bis 1 000 | | 3.6 | Mitteilungen gemäß § 34 Abs. 1 Satz 4 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 17 | | 4. | Verbringen und Mitnahme von Waffen oder Munition in den, durch den oder aus dem Geltungsbereich des Gesetzes | | | 4.1 | Erlaubnis zum Verbringen von Waffen oder Munition in die, durch die oder aus der Bundesrepublik Deutschland nach § 29 Abs. 1 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 70 | | 4.2 | Allgemeine Erlaubnis zum Verbringen von Waffen oder Munition aus der Bundesrepublik Deutschland nach § 30 Abs. 1 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 90 | | 4.3 | Erlaubnis zur Mitnahme von Waffen oder Munition in die oder durch die Bundesrepublik Deutschland nach § 32 Abs. 1 Satz 1 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 70 | | 4.4 | Verlängern einer Erlaubnis zur Mitnahme von Waffen oder Munition in die oder durch die Bundesrepublik Deutschland nach § 32 Abs. 1 Satz 2 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 45 | | 4.5 | Erlaubnis zur Mitnahme von Waffen oder Munition in einen anderen Mitgliedstaat nach § 32 Abs. 1a [WaffG](/federal_laws/431/redirect "Waffengesetz") | 70 | | 4.6 | Ausstellen eines Europäischen Feuerwaffenpasses nach § 32 Abs. 2 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 80 | | 4.7 | Eintragungen im Europäischen Feuerwaffenpass, soweit die Eintragung nicht beim Ausstellen des Europäischen Feuerwaffenpasses vorgenommen wird nach § 37g Abs. 3 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 35 | | 4.8 | Verlängern der Geltungsdauer eines Europäischen Feuerwaffenpasses nach § 33 Abs. 1 Satz 2 [AWaffV](/federal_laws/986/redirect "Allgemeine Waffengesetz-Verordnung") | 45 | | 5. | Zulassung von Ausnahmen | | | 5.1 | Ausnahmen vom Mindestalter für Kinder und Jugendliche nach § 3 Abs. 3 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 105 bis 210 | | 5.2 | Ausnahmen von den Erlaubnispflichten nach § 12 Abs. 5 [WaffG](/federal_laws/431/redirect "Waffengesetz") | 105 bis 275 | | 5.3 | Ausnahmen vom Mindestalter zur',
    '## Schulordnung Förderschulen §\xa05 \xa0Aufgabe und Aufbau der Schule mit Förderschwerpunkt geistige Entwicklung\r\n\r\n(1) Die Schule mit dem Förderschwerpunkt geistige Entwicklung unterrichtet und begleitet Schülerinnen und Schüler mit schwerwiegenden Beeinträchtigungen im kognitiven Bereich, verbunden mit sozialkommunikativen und emotionalen Besonderheiten.\r\n\r\n(2) Die Schule mit Förderschwerpunkt geistige Entwicklung gliedert sich in Unterstufe, Mittelstufe, Oberstufe und Werkstufe. Innerhalb der einzelnen Stufen werden Klassen gebildet. Der Besuch einer Stufe umfasst drei Jahre. Die Schülerinnen und Schüler der Schule mit dem Förderschwerpunkt geistige Entwicklung erfüllen die ihnen obliegende Berufsschulpflicht in der Regel in der Werkstufe.\r\n\r\n(3) Der Unterricht erfolgt nach den Lehrplänen für die Schule mit dem Förderschwerpunkt geistige Entwicklung.\r\n\r\n\r\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 48,631 training samples
• Columns: <code>query</code> and <code>answer</code>
• Approximate statistics based on the first 1000 samples:

  	query	answer
  type	string	string
  details	<ul><li>min: 13 tokens</li><li>mean: 25.25 tokens</li><li>max: 50 tokens</li></ul>	<ul><li>min: 19 tokens</li><li>mean: 278.62 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  query	answer
  <code>Wie kann ich die Berichtigung der Eröffnungsbilanz und des Jahresabschlusses im sächsischen Kommunalhaushalt vornehmen, wenn ich einen Fehler entdecke?</code>	<code>## Sächsische Kommunalhaushaltsverordnung § 62  Berichtigung der Eröffnungsbilanz, des Jahresabschlusses und des Gesamtabschlusses

  <br> <br>(1) Ergibt sich bei der Aufstellung des Jahresabschlusses für ein späteres Haushaltsjahr, dass in der Eröffnungsbilanz Vermögensgegenstände, zweckgebundene und sonstige Rücklagen, Sonderposten, Rückstellungen, Verbindlichkeiten oder Rechnungsabgrenzungsposten <br> <br>1. mit einem zu niedrigen Wert, 2. mit einem zu hohen Wert, 3. zu Unrecht oder 4. nicht angesetzt worden sind, ist in dem letzten noch nicht festgestellten Jahresabschluss der Wertansatz zu berichtigen oder der unterlassene Wertansatz nachzuholen, wenn es sich um einen wesentlichen Betrag handelt. <br> <br>(2) Maßgeblich für die Beurteilung der Fehlerhaftigkeit sind die zum Bilanzstichtag bestehenden objektiven Verhältnisse. <br> <br>(3) Die Berichtigung ist im Anhang des betroffenen Jahresabschlusses zu erläutern. Auf Grund einer nachträglichen Ausübung von Wahlrechten oder Ermessensspielräumen ist eine Ber...</code> | | <code>Was muss ich beachten, wenn ich eine Mitteilung über die Anordnung oder Aufhebung einer Vollstreckungssperre machen möchte?</code> | <code>## Verwaltungsvorschrift des Sächsischen Staatsministeriums der Justiz und für Demokratie, Europa und Gleichstellung über Mitteilungen in Zivilsachen 1 Mitteilungen über die Anordnung und Aufhebung einer Vollstreckungssperre <br> <br>(1) Mitzuteilen sind die Anordnung und Aufhebung einer Vollstreckungssperre nach § 49 Absatz 1 Nummer 1 StaRUG. <br>Gleiches gilt für Folgeanordnungen und Neuanordnungen nach § 52 StaRUG. <br> <br>(2) Die Mitteilung ist alsbald nach Erlass der Anordnung oder Aufhebung zu bewirken. <br> <br>(3) Die Mitteilungen sind zu richten an: <br> <br>1. das Vollstreckungsgericht; 2. die Gerichtskasse oder die nach § 2 Absatz 1 Satz 2 JBeitrG als Vollstreckungsbehörde bestimmte Stelle; 3. das Hauptzollamt; 4. die Verteilerstelle für Gerichtsvollzieheraufträge; 5. das Finanzamt; 6. die Agentur für Arbeit. (4) Soweit gesetzliche Vorschriften nicht entgegenstehen, können die Mitteilungen in einfacher Abschrift oder auch elektronisch übermittelt werden. <br> <br> <br></code> | | <code>Wann tritt die Sächsische Härtefallkommissionsverordnung genau in Kraft?</code> | <code>## Sächsische Härtefallkommissionsverordnung § 5  Inkrafttreten <br> <br>Diese Verordnung tritt am Tage nach ihrer Verkündung in Kraft. <br> <br>Dresden, den 6. Juli 2010 <br> <br>Der Ministerpräsident <br> In Vertretung <br> Sven Morlok <br> Staatsminister <br> <br>Der Staatsminister des Innern <br> In Vertretung <br> Prof. Dr. Georg Unland <br> Staatsminister <br> <br></code> |
• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32
  }
  

Evaluation Dataset

csv

• Dataset: csv
• Size: 12,158 evaluation samples
• Columns: <code>query</code> and <code>answer</code>
• Approximate statistics based on the first 1000 samples:

  	query	answer
  type	string	string
  details	<ul><li>min: 12 tokens</li><li>mean: 25.29 tokens</li><li>max: 44 tokens</li></ul>	<ul><li>min: 19 tokens</li><li>mean: 281.72 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  query	answer
  <code>Was sind die Voraussetzungen, um eine Vergütung für Fachkräfte im Bereich der Sozialarbeit zu bekommen?</code>	<code>## Verwaltungsvorschrift des Sächsischen Staatsministeriums für Soziales, Gesundheit, Jugend und Familie über die Vergütung für Fachkräfte beim Vollzug der Verordnung über die staatliche Anerkennung von Diplom-Sozialarbeitern, Diplom-Sozialpädagogen und Diplom-Heilpädagogen 2. Voraussetzungen

  <br> <br>2. Voraussetzungen <br> Eine Vergütung kann nur gewährt werden, wenn a) der Fachkraft die Tätigkeit nicht im Rahmen der Dienstpflichten im Hauptamt übertragen werden kann und b) sie für diese Nebentätigkeit im Hauptamt nachweislich nicht entsprechend entlastet wird. <br></code> | | <code>Wie wird die Mitgliedschaft in der Bundesregierung oder im Landtag bei der Besoldung berücksichtigt?</code> | <code>## Verwaltungsvorschrift des Sächsischen Staatsministeriums der Finanzen zum Vollzug des Sächsischen Besoldungsgesetzes <br> der Mitgliedschaft in der Bundesregierung oder einer Landesregierung, in der gesetzgebenden Körperschaft eines Landes, im Deutschen Bundestag oder im Europäischen Parlament nicht den Aufstieg in den Stufen des Grundgehalts. Dies setzt voraus, dass das ehemalige Kabinettsmitglied oder der ehemalige Abgeordnete für die Dauer der Mitgliedschaft keine Versorgungsabfindung erhalten hat. Für die ehemaligen Mitglieder der Sächsischen Staatsregierung, die danach im Beamtenverhältnis wiederverwendet werden, kommt eine Berücksichtigung der Zeit der Mitgliedschaft beim Stufenaufstieg in Betracht, da das Sächsische Ministergesetz keine Regelung zu einer Versorgungsabfindung enthält. Ebenso verhält es sich bei den ehemaligen Kabinettsmitgliedern des Bundes. Eine Versorgungsabfindung erhalten auf Antrag die Mitglieder des Sächsischen Landtages gemäß § 17 Absatz 1 des Abgeordnete...</code> | | <code>Was muss ich beachten, wenn ich eine Förderung für ganztägige Bildungs- und Betreuungsangebote beantragen möchte?</code> | <code>## Richtlinie Ganztagsinvestitionen VII. Verfahren <br> § 7 Ganztagsfinanzhilfegesetz vorliegen und keine Doppelförderung beantragt wird, kk) Angaben zur Anzahl der Plätze ganztägiger Bildungs- und Betreuungsangebote, die gemäß Ziffer IV Nummer 1 Buchstabe h mit der Investitionsmaßnahme aaa) zusätzlich geschaffen werden, bbb) von der Schaffung räumlicher Kapazitäten profitieren, ccc) erhalten werden, weil sie ohne Erhaltungsmaßnahmen mindestens perspektivisch vom Wegfall bedroht sind, oder vom Erhalt räumlicher Kapazitäten profitieren, als messbare Ziele der Investitionsmaßnahme, ll) Angaben, ob an der Schule Zuwendungen nach der Sächsischen Ganztagsangebotsverordnung eingesetzt werden, mm) eine Versicherung, dass die Planung und Durchführung der beantragten Maßnahme auf Grundlage von angemessenen und dokumentierten Wirtschaftlichkeitsuntersuchungen erfolgt und die Grundsätze der Wirtschaftlichkeit und Sparsamkeit eingehalten werden, nn) eine Versicherung, dass die Maßnahme im Sinne von Z...</code> |
• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 4e-05
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 4e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 12
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->