embeddinggemma-chess-arbiter-fr

SentenceTransformer based on google/embeddinggemma-300m

This is a sentence-transformers model finetuned from google/embeddinggemma-300m. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m <!-- at revision 57c266a740f537b4dc058e1b0cda161fd15afa75 -->
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Pierrax/embeddinggemma-chess-arbiter-fr")
# Run inference
queries = [
    "Quel est le contenu de l\u0027article 4.3.2.1 ?",
]
documents = [
    "Règlement médical\nFEDERATION FRANÇAISE DES ECHECS\nASSOCIATION DECLAREE CONFORME A LA LOI DU 1er JUILLET 1901- JO du 22 mai 1921\n \n \nCD FFE – 19.08.2022\nB07 – 6/6\n \n \n \n4.3.3 AUT à effet rétroactif \nLes licencié(e)s ne répondant pas à la définition de joueurs de niveau international comme \ndéfini à l’article 4.3.2.1 peuvent, après un contrôle antidopage faire une demande d’AUT \nà effet rétroactif. La demande (ANNEXE) est à adresser dans les 30 jours au médecin fédéral qui \nest tenu au secret professionnel dans les conditions et sous les réserves énoncées aux articles \n226-13 et226-14du code pénal. \n \n5 Surveillance des joueurs et joueuses de niveau international \nConformément à l’article A. 231-3 du code du sport les joueurs et joueuses de niveau \ninternational comme défini à l’article 4.3.2 doivent se soumettre dans les deux mois suivant \nleurs sélections en équipe de France, puis/ou annuellement à : \n\uf0b7 Un examen médical réalisé par un médecin du sport comprenant : \no Un examen clinique avec interrogatoire et examen physique selon les recommandations \nde la Société française de médecine de l'exercice et du sport. \no Un bilan diététique et des conseils nutritionnels. \no Un bilan psychologique visant à dépister des difficultés psychopathologiques pouvant \nêtre liées à la pratique sportive intensive. \n\uf0b7 Un électrocardiogramme de repos. \n \nA la demande du médecin du sport et sous sa responsabilité, les bilans psychologique et \ndiététique peuvent être effectués respectivement par un psychologue clinicien ou un \ndiététicien. \nLes résultats des examens sont transmis au médecin fédéral. \nLa FFE prend en charge financièrement cette surveillance médicale.",
    "4.2.2. Tout autre contact physique avec une pièce, à l’exception d’un contact clairement accidentel, doit être \nconsidéré comme intentionnel. \nSelon cette règle, si un joueur ou une joueuse n’a pas dit « j’adoube » ou quelque chose de similaire avant de toucher \nune pièce et que le contact n’est pas accidentel alors la pièce touchée doit être déplacée. \nPar exemple, si les Blancs ont joué 1. Fe2xg5 en soulevant le fou et en retirant le cavalier (ce coup n’est pas possible) \nalors le fou sur e2 doit être déplacé car il a été touché dans l'intention de le déplacer. \n \n4.3. En dehors du cadre précisé par l’Article 4.2 si le joueur ou la joueuse au trait touche sur l’échiquier, avec l’intention \nde déplacer ou de prendre : \n4.3.1. Une ou plusieurs de ses propres pièces, il/elle doit déplacer la première pièce touchée pouvant être \ndéplacée. \n4.3.2. Une ou plusieurs des pièces adverses, il/elle doit prendre la première pièce touchée pouvant être prise. \n4.3.3. Une ou plusieurs pièces de chaque couleur, il/elle doit prendre la première pièce adverse touchée avec sa \npremière pièce touchée ou, si c’est illégal, déplacer ou prendre la première pièce touchée pouvant être déplacée \nou prise. Si on ne peut pas déterminer si c’est une de ses pièces ou une des pièces adverses qui a été touchée en \npremier, alors on considère que c’est sa propre pièce qui a été touchée en premier, avant celle de son adversaire.",
    '9.10.3 Obligations de confidentialité\nLes membres de la commission sont tenus à une obligation de confidentialité concernant les informations\ndont ils ont connaissance dans le cadre de leurs missions. Ils sont en outre tenus de s’abstenir de toute dé-\nclaration publique qui serait de nature à remettre en cause leur impartialité.\nRèglement Intérieur de la Fédération Française des Échecs\nPage 19/19',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.8131, 0.5536, 0.0916]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 2,152 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 11.5 tokens</li><li>max: 37 tokens</li></ul>	<ul><li>min: 30 tokens</li><li>mean: 383.58 tokens</li><li>max: 631 tokens</li></ul>	<ul><li>min: 91 tokens</li><li>mean: 384.08 tokens</li><li>max: 620 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Que dit l'article 1 ?</code>	<code>FEDERATION FRANÇAISE DES ECHECS ASSOCIATION DECLAREE CONFORME A LA LOI DU 1ER JUILLET 1901 – JO DU 22 MAI 1921 <br> <br>Règlement Disciplinaire <br> AG FFE - 22.04.2018 <br>B03-1/8 <br> <br>RÈGLEMENT DISCIPLINAIRE <br>ARTICLE 1ER – OBJET <br>Le présent règlement est établi en application des articles L. 131-8 et R. 131-3 du Code du Sport et <br>conformément à l'article 5.1 des statuts de la Fédération Française des Echecs (FFE). <br>Le présent règlement ne s'applique pas à l'exercice du pouvoir disciplinaire à l'égard des agents sportifs et <br>en matière de lutte contre le dopage, régi par des dispositions particulières. <br> <br>CHAPITRE Ier : ORGANES ET PROCÉDURES DISCIPLINAIRES <br>Section I : Dispositions communes aux organes disciplinaires de première instance et d'appel <br>ARTICLE 2 – DEFINITION – COMPOSITION <br>Il est institué différents organes investis du pouvoir disciplinaire à l'égard : <br> <br>des licenciés de la FFE ; <br> <br>des associations affiliées à la FFE ; <br> <br>tout membre, préposé, salarié ou bénévole de ces associati...</code>	<code>Partie 1:LA D.N.A. et les arbitres <br> Chapitre 1.2 :Les missions de l’arbitre <br>Version d’octobre 2025 <br>page 10 sur 227 <br>Direction Nationale de l’arbitrage <br>Article 5 <br>Défraiement des arbitres <br>Dès sa nomination, l’arbitre et l’équipe d’organisation devront définir l’ensemble des frais liés à l’arbitrage. L’arbitre <br>en chef a la mission de s’assurer que les frais liés aux arbitres adjoints aient été aussi pris en compte. Ces frais incluent : <br>• <br>Indemnités des arbitres suivant les tarifs officiels du "barème d'indemnisation des arbitres" ; <br>• <br>Frais de déplacements ; <br>• <br>Hébergement et restauration ; <br>Les arbitres sont en droit de solliciter le paiement de leurs indemnités avant la dernière ronde du tournoi. En l’absence <br>de paiement, les arbitres ne communiqueront pas les résultats aux autorités fédérales ou internationales. <br>Article 6 <br>Relations avec les instances fédérales <br>À la fin de l’événement, l'Arbitre en chef doit transmettre le jour même les résultats sportifs et doit rédiger ...</code>
  <code>Quel est le contenu de l'article 1 ?</code>	<code>FEDERATION FRANÇAISE DES ECHECS ASSOCIATION DECLAREE CONFORME A LA LOI DU 1ER JUILLET 1901 – JO DU 22 MAI 1921 <br> <br>Règlement Disciplinaire <br> AG FFE - 22.04.2018 <br>B03-1/8 <br> <br>RÈGLEMENT DISCIPLINAIRE <br>ARTICLE 1ER – OBJET <br>Le présent règlement est établi en application des articles L. 131-8 et R. 131-3 du Code du Sport et <br>conformément à l'article 5.1 des statuts de la Fédération Française des Echecs (FFE). <br>Le présent règlement ne s'applique pas à l'exercice du pouvoir disciplinaire à l'égard des agents sportifs et <br>en matière de lutte contre le dopage, régi par des dispositions particulières. <br> <br>CHAPITRE Ier : ORGANES ET PROCÉDURES DISCIPLINAIRES <br>Section I : Dispositions communes aux organes disciplinaires de première instance et d'appel <br>ARTICLE 2 – DEFINITION – COMPOSITION <br>Il est institué différents organes investis du pouvoir disciplinaire à l'égard : <br> <br>des licenciés de la FFE ; <br> <br>des associations affiliées à la FFE ; <br> <br>tout membre, préposé, salarié ou bénévole de ces associati...</code>	<code>Partie 1:LA D.N.A. et les arbitres <br> Chapitre 1.2 :Les missions de l’arbitre <br>Version d’octobre 2025 <br>page 7 sur 227 <br>Direction Nationale de l’arbitrage <br>Chapitre 1.2 : Les missions de <br>l’arbitre <br>Charte de l’Arbitre <br>A. <br>Mission fédérale <br>B. <br>Mission administrative <br>C. <br>Mission sur les lieux d’un tournoi</code>
  <code>Que dit l'article 9 ?</code>	<code>Ces organes sont les suivants : <br> <br>Un organe disciplinaire fédéral de 1re instance dénommé « Commission Fédérale de Discipline » (CFD) ; <br> <br>Un organe disciplinaire régional de 1re instance dénommé « Commission Régionale de Discipline » <br>(CRD) dans chaque organe déconcentré régional de la FFE, saisi lorsque le Bureau Fédéral décide <br>d’engager des poursuites selon les modalités prévues à l’article 9, sans transmettre directement <br>l’affaire à la Commission Fédérale de Discipline, en fonction de la gravité du litige ; <br> <br>Un organe disciplinaire d’appel dénommé « Commission d’Appel », compétent pour trancher les appels <br>interjetés à l’encontre de toutes décisions rendues en 1re instance. <br>Ces organes disciplinaires sont compétents pour prononcer des sanctions à raison des faits suivants, <br>commis par une personne physique ou morale en une des qualités mentionnées ci-dessus à la date de <br>commission des faits : <br> <br>faits contraires aux règles posées par les statuts et règlements de la Fédér...</code>	<code>Elle n’a pas le droit de retirer sa réclamation. <br>9.5.2. Si la réclamation est jugée correcte, la partie est déclarée immédiatement nulle. <br>9.5.3. Si la réclamation est jugée incorrecte, l’arbitre ajoute deux minutes au temps de réflexion restant de <br>l’adversaire. La partie doit continuer. Si la réclamation était basée sur un coup prévu, ce coup doit être joué en <br>respectant les Articles 3 et 4. <br>Cette réclamation n'est pas traitée comme un coup illégal, toutefois il est stipulé que le coup prévu doit être joué, s’il <br>s’agit d’un coup illégal, un autre coup doit être joué avec la même pièce. Tous les autres éléments de l’article 4 <br>s’appliquent. <br>9.6. Si l’une ou les deux situations suivantes se produisent, alors la partie est nulle : <br>9.6.1. La même position est apparue, comme en 9.2.2 au moins cinq fois ; <br>9.6.2. Une suite d’au moins 75 coups a été jouée par chacun des deux adversaires, sans aucun mouvement de pion <br>ni prise. Si le dernier coup produit un mat, celui-ci est prioritair...</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2
• gradient_accumulation_steps: 8
• learning_rate: 2e-05
• warmup_ratio: 0.1
• dataloader_drop_last: True
• dataloader_num_workers: 2

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 8
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.1
• Transformers: 4.57.1
• PyTorch: 2.8.0+cu126
• Accelerate: 1.11.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->