french-bge-m3-finetuned-legi-rag

SentenceTransformer based on dangvantuan/sentence-camembert-large

This is a sentence-transformers model finetuned from dangvantuan/sentence-camembert-large on the legi-french-rag-pairs-e5-split2 dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: dangvantuan/sentence-camembert-large <!-- at revision 1f111fd01a1c8595a4e8478775d740ab03279507 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • legi-french-rag-pairs-e5-split2

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'CamembertModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("IvanDVonga/french-bge-m3-finetuned-legi-rag")
# Run inference
sentences = [
    "Dans le cadre de ses compétences en matière de direction de l'UMPV, suppose-t-on que le président prenne une décision controversée lors du conseil des établissements-composantes. Comment ce decision peut-elle être contestée par les membres des établissements-composantes et quelles sont les limitations de cette opposition?",
    "Le président assure la direction de l'UMPV. A ce titre, il exerce les compétences prévues par l'article L. 712-2 du code de l'éducation. En outre, il :1° Préside le conseil d'administration, le conseil académique, le conseil scientifique et le conseil des études et de la vie universitaire, y compris leur formation restreinte aux enseignants-chercheurs dans le respect des principes rappelés au deuxième alinéa de l'article L. 952-6 du code de l'éducation ;2° Préside le comité d'orientation stratégique international ;3° Préside le conseil des directeurs de composantes internes d'enseignement et des établissements-composantes ;4° Coordonne le dialogue de l'UMPV et de ses établissements-composantes avec les partenaires institutionnels de l'UMPV et participe au dialogue entre les établissements-composantes et leurs autorités de tutelle ;5° Signe les diplômes délivrés par l'UMPV et co-signe les diplômes des établissements-composantes ;6° Propose à la nomination du conseil académique en formation restreinte, les enseignants-chercheurs et assimilés membres des comités de sélection ;7° Présente chaque année au conseil d'administration un rapport sur l'évolution de la situation professionnelle des personnes auxquelles l'UMPV a délivré le diplôme national de doctorat dans les cinq années précédentes. Ce rapport est transmis, après approbation par le conseil d'administration, au ministre chargé de l'enseignement supérieur et de la recherche, au Haut Conseil de l'évaluation de la recherche\n\nDans les conditions prévues à l'article D. 719-3 du code de l'éducation, le président de l'UMPV est assisté d'un comité électoral consultatif pour l'organisation des élections dans les conseils centraux et les conseils des UFR, écoles ou instituts internes de l'UMPV.Sa composition et ses modalités de fonctionnement sont précisées par le règlement intérieur de l'UMPV. Article 38Comité d'orientation stratégique international Ses membres sont :1° Le président de l'UMPV ;2° Les vice-présidents du conseil d'administration, du conseil scientifique et du conseil des études et de la vie universitaire, ainsi que le vice-président délégué aux relations internationales ;3° Les présidents ou directeurs des établissements-composantes ;4° Les présidents ou directeurs des établissements associés ;5° Les directeurs du Centre de coopération internationale en recherche agronomique pour le développement (CIRAD), du Centre national de la recherche scientifique (CNRS), de l'Institut national de recherche pour l'agriculture, l'alimentation et l'environnement (INRAE), de l'Institut national de recherches archéologiques préventives (INRAP) et de l'Institut de recherche pour le développement (IRD), ou leurs représentants ;6° Quatre personnalités scientifiques internationales dans les domaines de spécialités de l'UMPV ;7° Les présidents de la Région Occitanie, de la Métropole de Montpellier et de l'Agglomération de Béziers, ou leurs représentants ;8° Trois personnalités issues du monde\n\nOutre le président de l'UMPV qui le préside, le conseil d'administration comprend les membres suivants, ainsi répartis :1° Huit représentants des professeurs et personnels assimilés au sens du I de l'article D. 719-4 du code de l'éducation, en exercice dans l'UMPV ;2° Huit représentants des autres enseignants-chercheurs, enseignants et chercheurs, et personnels assimilés au sens du I de l'article D. 719-4 précité, en exercice dans l'UMPV ;3° Quatre représentants des personnels des bibliothèques, ingénieurs, administratifs, techniques, sociaux et de santé au sens du III de l'article D. 719-4 précité, en exercice l'UMPV ;4° Quatre représentants des usagers au sens du II de l'article D. 719-4 précité, inscrits à l'UMPV ou dans un de ses établissements-composantes ;5° Un représentant de chaque établissement-composante, et son suppléant, désignés dans les conditions fixées par chaque établissement-composante ;6° Neuf personnalités extérieures à l'UMPV dont :a) Un représentant de la région Occitanie ;b) Un représentant de la Métropole de Montpellier ;c) Un représentant du Centre national de la recherche scientifique (CNRS) ;d) Un représentant de la direction régionale des affaires culturelles (DRAC) Occitanie ;e) Cinq personnalités désignées dans l'ordre suivant et dans les conditions prévues à l'article 29 des présents statuts : - deux représentants des organisations représentatives des salariés ;- un représentant d'une entreprise employant moins de cinq cents salariés ;- un",
    "Le directeur général des services convoque l'ensemble des membres élus et désignés au titre des personnalités extérieures du conseil d'administration. Cette convocation doit être adressée dix jours au moins avant le jour de la réunion portant élection du président de l'établissement. Les candidats disposent de la possibilité d'utiliser les moyens d'information de l'établissement pour faire connaître leur intention et leur profession de foi.Le président est élu, pour un mandat de 4 ans, dans les conditions fixées à l'article L. 712-2 du code de l'éducation. En cas de résultat infructueux après trois tours de scrutin, la séance est levée et le conseil d'administration est convoqué à nouveau dans un délai de dix jours pour un nouveau scrutin organisé dans les mêmes conditions. Article 19Régime d'incompatibilité Les fonctions de président sont incompatibles avec celles de membre élu du conseil académique, de président ou directeur d'établissement-composante ou de toute structure interne de l'UMPV et avec celles de dirigeant exécutif de tout établissement public à caractère scientifique, culturel et professionnel ou de l'une de ses composantes ou structures internes. Article 20Vacance de la présidence En cas d'empêchement temporaire, le président est suppléé, dans l'ordre, par le vice-président du conseil d'administration, le vice-président du conseil scientifique ou le vice-président du conseil des études et de la vie universitaire.Dans le cas où le président cesse ses fonctions,\n\nArticle 12Organisation L'UMPV comprend :1° Des établissements-composantes ;2° Des composantes internes ;3° Des services universitaires dont des services communs et généraux.\n\nConformément à leurs statuts, les établissements-composantes exercent pleinement leurs prérogatives et développent une stratégie propre en cohérence avec la stratégie de l'UMPV, qu'ils participent à définir et qu'ils contribuent à mettre en œuvre.Les établissements-composantes : - conservent leur personnalité morale, leurs compétences et leurs prérogatives telles que définies par leurs actes constitutifs et conformément aux textes réglementaires qui les régissent ;- conservent leurs autorités de tutelle ;- contribuent à l'élaboration de la stratégie de l'UMPV dans toutes ses dimensions ;- mettent en œuvre, conformément à leurs compétences, la stratégie, les orientations et les délibérations de l'UMPV ;- mettent en œuvre la signature commune des publications scientifiques ;- participent à l'élaboration du contrat pluriannuel de l'UMPV et élaborent leur volet spécifique ;- peuvent se voir déléguer par l'UMPV l'exercice d'une ou plusieurs de ses compétences et peuvent déléguer ou transférer à l'UMPV l'exercice d'une ou plusieurs de leurs compétences dans les conditions prévues aux articles 8 et 9 des présents statuts ;- reçoivent directement leur plafond d'emploi et leurs dotations ou subventions pour charge de service public et disposent de leurs ressources propres. Leurs crédits et emplois sont affectés par les autorités de tutelle compétentes et sont négociés directement avec elles ;- adoptent leurs budgets dans le respect des orientations stratégiques de l'UMPV ;- conservent",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5011, 0.5883],
#         [0.5011, 1.0000, 0.6996],
#         [0.5883, 0.6996, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Datasets: legi-rag-validation and legi-rag-test
• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

legi-french-rag-pairs-e5-split2

• Dataset: legi-french-rag-pairs-e5-split2 at be37641
• Size: 797 training samples
• Columns: <code>anchor</code>, <code>positive</code>, <code>negative</code>, and <code>metadata</code>
• Approximate statistics based on the first 797 samples:

  	anchor	positive	negative	metadata
  type	string	string	string	list
  details	<ul><li>min: 37 tokens</li><li>mean: 110.46 tokens</li><li>max: 201 tokens</li></ul>	<ul><li>min: 41 tokens</li><li>mean: 332.23 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 76 tokens</li><li>mean: 307.24 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>size: 3 elements</li></ul>

• Samples:

  anchor	positive	negative	metadata
  <code>Dans le cadre d'un consistoire, si un pasteur est empêché de siéger lors d'une élection de délégués titulaires et suppléants au Synode, quel est le statut juridique de la personne qui remplacerait ce pasteur pour siéger au Synode?</code>	<code>La loi d'Empire du 21 juin 1905 susvisée est modifiée conformément aux articles 2 à 5 du présent décret.<br><br>L'article 3 est remplacé par les dispositions suivantes : « Art. 3. - Sont membres du Synode : «- le président du Conseil synodal, élu dans les conditions prévues à l'article 5 ; «- le président et le secrétaire de chaque consistoire ; «- huit délégués titulaires élus par chaque consistoire, dont au plus quatre pasteurs. Pour chaque délégué titulaire est élu un délégué suppléant appelé à siéger au Synode en cas d'absence ou d'empêchement du délégué titulaire. « Participent en outre aux sessions du Synode avec voix consultative les personnalités nommées par le Synode pour visiter les paroisses. Les missions de ces visiteurs synodaux sont précisées par un règlement pris par le Synode dans les conditions prévues à l'article 7. »<br><br>L'article 1er est remplacé par les dispositions suivantes : « Art. 1. - Le Synode est placé à la tête de l'Eglise protestante réformée d'Alsace et de Lorrain...</code>	<code>Le premier alinéa de l'article 5 est remplacé par deux alinéas ainsi rédigés :« A la première session qui suit les élections générales des délégués, le Synode, dont demeure membre pour cette seule session le président sortant du Conseil synodal, élit en son sein un Conseil synodal composé d'un président, d'un vice-président, d'un secrétaire et de deux assesseurs. Lorsqu'un membre du Synode autre que le président sortant est élu président du Conseil synodal, il est procédé à son remplacement.« Les visiteurs synodaux sont nommés par le Synode lors de la même session. Leur nombre et les conditions de leur nomination sont précisés par un règlement pris par le Synode dans les conditions prévues à l'article 7. »<br><br>L'article 7 est remplacé par les dispositions suivantes : « Art. 7. - Les modalités d'application des dispositions de la présente loi, relatives notamment à l'élection des délégués, à la convocation et aux délibérations du Synode ainsi qu'à l'élection du Conseil synodal, sont précis...</code>	<code>[{'source': 'DECRET 1'}, {'source': 'DECRET 3'}, {'source': 'DECRET 2'}]</code>
  <code>Dans l'hypothèse d'un responsable légal d'un jeune apprentice, qui n'est plus un mineur et a quitté son emploi, mais qui n'a pas encore atteint l'âge de dix-huit ans à la date du traitement de ses données personnelles, Comment cette situation affecte-t-elle l'opposabilité des droits d'accès, de rectification et de limitation envers la direction de l'évaluation, de la prospective et de la performance du ministère chargé de l'éducation nationale conformément aux articles 15, 16 et 18 du règlement (UE) 2016/679?</code>	<code>Les catégories de données à caractère personnel faisant l'objet du traitement sont les suivantes :1° Données relatives aux apprentis : a) Données relatives à l'identification : identifiant national (INE) ;b) Données d'identité : nom, prénom, sexe, date et lieu de naissance, nationalité (France, Union européenne, hors Union européenne) ;c) Coordonnées : adresse postale, téléphone, adresse électronique ;d) Données relatives à la formation préparée : statut du jeune, régime scolaire, diplôme ou titre préparé, durée théorique de la formation, durée de la formation en apprentissage, année de formation ;e) Données relatives à l'apprentissage : données relatives au CFA de l'apprenti (signataire de contrat et lieu de formation), date d'entrée dans ce CFA, date de début du contrat d'apprentissage, date de rupture du contrat, données relatives à l'établissement employeur ;f) Données relatives à la scolarité ou l'apprentissage de l'année précédente : situation avant de commencer une formation en ...</code>	<code>Les droits d'accès et de rectification prévus aux articles 39 et 40 ‎de la loi du 6 janvier 1978 susvisée s'exercent directement auprès du responsable de l'unité départementale de la direction régionale des entreprises, de la concurrence, de la consommation, du travail et de l'emploi dans le ressort de laquelle la prestation a lieu. L'employeur ou le cas échéant, le maître d'ouvrage ou le donneur d'ordre, informe les personnes autres que le déclarant du fait que leurs données personnelles feront l'objet d'un traitement ainsi que de leurs droits d'accès et de rectification prévus à l'alinéa précédent. Le droit d'opposition prévu à l'article 38 de la même ‎loi ne s'applique pas au présent traitement.<br><br>Des mesures de protection physique et logique sont prises par le responsable du traitement pour assurer la sécurité du traitement des données et leur transmission à l'union des caisses mentionnée à l'article R. 8291-2 du code du travail, empêcher toute utilisation détournée ou frauduleuse, ...</code>	<code>[{'source': 'DECRET 3'}, {'source': 'DECRET 1'}, {'source': 'DECRET 6'}]</code>
  <code>Dans le cadre de l'exercice de ses attributions en matière d'innovation et de recherche, suppose-t-on qu'un ministre extérieur au ministère de l'enseignement supérieur et de la recherche souhaiterait exercer une certaine influence sur la Direction générale de la recherche et de l'innovation. Bien qu'il n'ait pas de juridique compétence dans ce domaine, peut-on avancer qu'il pourrait bénéficier d'une influence informelle, et que le texte ne prévoit pas explicitement une interdiction de telles influences? Ou bien, pourrait-on dire que l'autorité du ministre de l'enseignement supérieur et de la recherche sur la Direction générale de la recherche et de l'innovation est absolute et ne peut être inféodée à aucune autre personne ou entité, même si ce n'est pas explicitement écrit dans le texte?</code>	<code>I. - Pour l'exercice de ses attributions, le ministre de l'enseignement supérieur et de la recherche a autorité sur la direction générale de la recherche et de l'innovation et sur la direction générale de l'enseignement supérieur et de l'insertion professionnelle.II. - Il a autorité, conjointement avec le ministre de l'éducation nationale et le ministre des sports, de la jeunesse et de la vie associative, sur le secrétariat général, sur le haut fonctionnaire de défense et de sécurité et sur le bureau des cabinets mentionnés à l'article 1er du décret du 17 février 2014 susvisé.III. - Il dispose de la direction générale de l'enseignement scolaire et de la direction générale des entreprises.IV. - Pour l'exercice de ses attributions en matière d'innovation et de recherche, il dispose du secrétariat général pour l'investissement.V. - Pour l'exercice de ses attributions en matière de numérique, il dispose de la direction interministérielle du numérique et de la direction générale des médias ...</code>	<code>Pour l'exercice de ses attributions, le ministre auprès de la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche, chargé de l'enseignement supérieur et de la recherche, dispose des services placés sous l'autorité de la ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche ou dont elle dispose.<br><br>Le Premier ministre, la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche, et le ministre auprès de la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche, chargé de l'enseignement supérieur et de la recherche, sont responsables, chacun en ce qui le concerne, de l'application du présent décret, qui sera publié au Journal officiel de la République française.<br><br>Dans la limite des attributions qui lui sont déléguées, le ministre auprès de la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la r...</code>	<code>[{'source': 'DECRET 2'}, {'source': 'DECRET 3'}, {'source': 'DECRET 3'}]</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

legi-french-rag-pairs-e5-split2

• Dataset: legi-french-rag-pairs-e5-split2 at be37641
• Size: 100 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, <code>negative</code>, and <code>metadata</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative	metadata
  type	string	string	string	list
  details	<ul><li>min: 48 tokens</li><li>mean: 108.13 tokens</li><li>max: 186 tokens</li></ul>	<ul><li>min: 60 tokens</li><li>mean: 344.45 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 76 tokens</li><li>mean: 307.82 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>size: 3 elements</li></ul>

• Samples:

  anchor	positive	negative	metadata
  <code>Dans le cadre du décret en question, suppose-t-on qu'un ministre différent du ministre des sports, de la jeunesse et de la vie associative exerce des compétences similaires. Est-il admis que ce ministre peut exécuter le décret, malgré la clause qui délégue cette tâche expressément au ministre des sports, de la jeunesse et de la vie associative? (Nonobstant la clause de délégation, est-ce que le décret peut être exécuté par un autre ministre?)</code>	<code>Le ministre des sports, de la jeunesse et de la vie associative est chargé de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.<br><br>Le présent décret entre en vigueur le 5 décembre 2024.<br><br>Le présent décret sera publié au Journal officiel de la République française.</code>	<code>La ministre de la culture ne connaît pas des actes de toute nature relatifs spécifiquement aux personnes, physiques ou morales, qu'elle a eues pour clientes dans le cadre de son activité d'avocate.Conformément à l'article 2-1 du décret du 22 janvier 1959 susvisé, les attributions correspondantes sont exercées par le Premier ministre.<br><br>Le garde des sceaux, ministre de la justice, est chargé de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.<br><br>Le garde des sceaux, ministre de la justice, et le ministre de l'économie, des finances et de l'industrie sont chargés, chacun en ce qui le concerne, de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.</code>	<code>[{'source': 'DECRET 3'}, {'source': 'DECRET 2'}, {'source': 'DECRET 2'}]</code>
  <code>Dans le cas d'une décision incontestée devant la Cour nationale de tarification sanitaire et sociale avant le 1er janvier 2025, qui dispose-t-on de la possibilité de contester cette décision devant la cour administrative d'appel de Paris après cette date, sous réserve de quelles conditions et en quelle mesure cette possibilité est-elle opposable aux parties s'il existe des actes de procédure régulièrement accomplis devant les tribunaux interrégionaux de la tarification sanitaire et sociale avant cette date?</code>	<code>Les recours contre les jugements des tribunaux interrégionaux de la tarification sanitaire et sociale n'ayant pas fait l'objet d'un recours devant la Cour nationale de tarification sanitaire et sociale au 1er janvier 2025 et non encore devenus définitifs à cette date sont formés devant la cour administrative d'appel de Paris.<br><br>Le présent décret entre en vigueur le 1er janvier 2025, sous réserve des dispositions du premier alinéa de l'article 10 qui entrent en vigueur au lendemain de sa publication au Journal officiel de la République française.<br><br>Les tribunaux interrégionaux de la tarification sanitaire et sociale et la Cour nationale de la tarification sanitaire et sociale informent les parties, avant le 1er janvier 2025, de la transmission des requêtes mentionnées respectivement aux articles 8 et 9.Les actes de procédure régulièrement accomplis devant les tribunaux interrégionaux de la tarification sanitaire et sociale et la Cour nationale de la tarification sanitaire et sociale avant...</code>	<code>Les requêtes enregistrées par la Cour nationale de la tarification sanitaire et sociale dont le jugement n'a pas été prononcé au 31 décembre 2024 sont transmises en l'état le 1er janvier 2025 à la cour administrative d'appel de Paris.<br><br>Le garde des sceaux, ministre de la justice, la ministre de la santé et de l'accès aux soins et le ministre des solidarités, de l'autonomie et de l'égalité entre les femmes et les hommes sont chargés, chacun en ce qui le concerne, de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.<br><br>Les archives et les minutes des greffes des tribunaux interrégionaux de la tarification sanitaire et sociale de Bordeaux, Lyon, Nancy et Nantes sont conservées respectivement par les greffes des cours administratives d'appel de Bordeaux, Lyon, Nancy et Nantes. Les archives et les minutes du greffe du tribunal interrégional de la tarification sanitaire et sociale de Paris et du greffe de la Cour nationale de la tarification sanitai...</code>	<code>[{'source': 'DECRET 13'}, {'source': 'DECRET 15'}, {'source': 'DECRET 10'}]</code>
  <code>Dans le cadre de l'article 24 de la loi n° 2023-1059, une personne morale privée souhaitant mener des travaux d'intérêt général dans le cadre de l'expérimentation mentionnée à ce titre, doit être une société remplissant les conditions prévues à l'article L. 210-10 du code de commerce. Supposons-le, quel est le délai dans lequel la demande d'habilitation à ce titre doit être présentée au directeur du service pénitentiaire d'insertion et de probation, et est-il Caduc si ce délai n'est pas respecté?</code>	<code>Le ministre d'État, ministre de l'intérieur, est chargé de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.<br><br>Le ministre d'État, ministre des outre-mer, et le ministre d'État, garde des sceaux, ministre de la justice, sont chargés, chacun en ce qui le concerne, de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.<br><br>I. ‒ Les personnes morales de droit privé au profit desquelles peut être effectué un travail d'intérêt général au titre de l'expérimentation mentionnée au IV de l'article 24 de la loi n° 2023-1059 du 20 novembre 2023 d'orientation et de programmation du ministère de la justice 2023-2027 sont les sociétés remplissant les conditions mentionnées à l'article L. 210-10 du code de commerce.Pour ces personnes morales, la demande de l'habilitation prévue au premier alinéa de l'article 131-8 du code pénal est présentée au directeur du service pénitentiaire d'insertion et de probation du départem...</code>	<code>Les dispositions du présent décret entrent en vigueur le 1er septembre 2024.Toutefois, les sociétés disposent d'un délai d'un an, à compter du 1er septembre 2024, pour se mettre en conformité avec les exigences du présent décret, à l'exception de celles prévues aux articles 122 et 144.<br><br>La société de participations financières de profession libérale d'avocats au Conseil d'Etat et à la Cour de cassation fait connaître à l'ordre des avocats au Conseil d'Etat et à la Cour de cassation, tout changement dans la situation déclarée en application de l'article 142, dans un délai de trente jours à compter de la date de survenance de ce changement en joignant toutes les pièces justificatives.<br><br>La nullité ou la dissolution de la société n'est opposable aux tiers qu'à compter de l'accomplissement des formalités de publicité prévues par l'article 129, par le troisième alinéa de l'article 132 et par l'article 134.</code>	<code>[{'source': 'DECRET 10'}, {'source': 'DECRET 4'}, {'source': 'DECRET 2'}]</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• gradient_accumulation_steps: 2
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• dataloader_num_workers: 2
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->