eti-granite-v1

SentenceTransformer based on ibm-granite/granite-embedding-311m-multilingual-r2

This is a sentence-transformers model finetuned from ibm-granite/granite-embedding-311m-multilingual-r2 on the eti-embedding-training-data-2048-triplets-merged-v3 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: ibm-granite/granite-embedding-311m-multilingual-r2 <!-- at revision 44399559930365213510b1ee2eb15ded83374f0e -->
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • eti-embedding-training-data-2048-triplets-merged-v3

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': False})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("NorskHelsenett/eti-granite-v1")
# Run inference
sentences = [
    '- Hva slags hjelp kan vi få til tracheostomi-behandling hjemme?',
    '# Forbruksmateriell\n\nHelseforetakene har ansvar for å levere nødvendig medisinsk utstyr og forbruksmateriell til behandling hjemme/utenfor sykehus når behandlingen er igangsatt av spesialisthelsetjenesten.\n\nHelseforetakene har i tillegg ansvar for å levere tjenester/forbruksmateriell til en rekke behandlingsforløp som ikke innbefatter medisinsk utstyr.\n\nEksempler på forbruksmateriell og tjenester som benyttes i medisinsk hjemmebehandling:\n\n- Forbruksmateriell til:\n    - enteral ernæring som gis via nasogastrisk sonde, perkutan gastrostomi (PEG) og gastrostomiport/sonde\n    - parenteral ernæring/intravenøs behandling som gis via ulike typer veneporter og sentrale/perifere venekateter\n    - epidural behandling som gis ved smertelindring\n    - subkutan behandling\n    - pleura/acites- drenasje\n    - tracheostomi\n- Kompresjonsplagg til:\n    - lymfødem (og tilhørende bandasjemateriell)\n    - brannskadebehandling\n    - kjønnsdysfori/kjønnsinkongruens\n- Apnéskinner (alternativ behandling ved søvnapné)\n- Frejkaspute (behandling av hofteleddsdysplasi hos nyfødte)\n- Kjønnsdysfori/kjønnsinkongruens (kompresjonsplagg, penisprotese, hårfjerning og vaginablokker)\n- Taleventiler/proteser for strupeopererte\n\nHelseforetakene har også ansvar for å dekke kostnadene til Klorhexidin 5 mg/ml, NaCl 0,9 mg/ml og Heparin 100 IE til vedlikehold/skylling av de aktuelle kateter, kanyler og porter som benyttes. Se også ( [HELFO utstyrsliste forbruksmateriell](https://www.helfo.no/produkt-og-prislister/produkt-og-prislister) ).\n\nListen er ikke uttømmende.\n\nDet er ulik praksis i hvordan helseforetakene organiserer utleveringen av forbruksmateriell. Sortimentet kan være ulikt mellom helseforetakene og mellom helseregionene ( [jf. Utstyr](https://behandlingshjelpemidler.no/utstyr/) ).\n\nVed spørsmål ta kontakt med aktuell [behandlingshjelpemiddelenhet](https://behandlingshjelpemidler.no/enhet/) .',
    'Les mer om [skole- og opplæringstilbud for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/barnehage-skole-og-opplaering.4636489-176065.html)\n\n### Bo- og omsorgstilbud\n\nHjemkommunene har ansvar for bo- og omsorgstilbud til voksne døvblinde. De fleste voksne med medfødt døvblindhet bor i leilighet eller bofellesskap med heldøgns omsorg.\n\nHar du ervervet døvblindhet, kan du få tilbud om kommunal omsorgsbolig eller sykehjem, hvis du ikke lenger kan bo i eget hjem.\n\nLes mer om [bo- og omsorgstilbud for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/bo-og-omsorgstilbud.4641097-176065.html)\n\n### Brukerstyrt personlig assistanse og støttekontakt (BPA)\n\nDette er en ordning som gir deg praktisk bistand til å gjøre ting som:\n\n- kle på deg\n- gjøre husarbeid\n- komme deg til skole og arbeidsplass\n- handle og lage mat\n- være sammen med venner og familie\n- engasjere deg i samfunnet.\n\nBPA gir deg mulighet til å administrere din egen hverdag, ved at du selv kan bestemme hvem som skal være dine assistenter, hva de skal bistå med og til hvilke tider.\n\nLes mer om [brukerstyrt personlig assistanse og støttekontakt for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/brukerstyrt-personlig-assistanse-og-stoettekontakt.4832862-176065.html)\n\n### Cochleaimplantat (CI)\n\nCI er et elektronisk apparat som opereres inn i øret. Det er et hjelpemiddel som hovedsakelig tilbys hørselshemmede med så store hørselstap, at de har liten eller ingen mulighet til å oppfatte tale med et vanlig høreapparat.\n\nLes mer om [cochleaimplantat på unn.no.](https://www.unn.no/dovblindhet/hva-kan-hjelpe/teknologi-og-hjelpemidler/horselshjelpemidler/cochleaimplantat/)\n\n### Individuell plan (IP)\n\nIndividuell plan er et verktøy som legger til rette for samarbeid mellom deg og tjenesteytere. Formålet med IP er å ha et helhetlig tilbud som koordineres gjennom én plan. Planen skal være individuelt tilpasset og én tjenesteyter skal ha hovedansvaret for oppfølgingen. Den som bruker henvender seg til har plikt til å sørge for at arbeidet med planen settes i gang.\n\nLes mer om [individuell plan på dovblindhet.no.](https://www.dovblindhet.no/individuell-plan.4590084-176065.html)\n\n### Orienterings- og mobilitetsopplæring\n\nEksempler på dette er:\n\n- bruk av hvit stokk og stokk-teknikk\n- ledsagerteknikk\n- beskyttelsesteknikk\n- orienteringsteknikk\n- opplæring i ulike tekniske hjelpemidler\n- innlæring av mobilitetsruter\n- bruk av andre og resterende sanser\n\n### Tolk/ledsager\n\nI mange tilfeller vil du være avhengig av en tolk/ledsager som behersker de ulike kommunikasjonsformene som personer med døvblindhet bruker.\n\nEn tolk/ledsager fungerer som et bindeledd mellom deg og andre personer. Her kan du finne ut mer om [tolketjenesten i NAV](https://www.nav.no/no/person/hjelpemidler/hjelpemidler-og-tilrettelegging/tolketjenesten) .\n\nLes mer om [tolk eller ledsager på dovblindhet.no.](https://www.dovblindhet.no/tolkledsager.4588731-176065.html)\n\nReferanser\n\n[Publikasjoner om medfødt døvblindhet](https://www.dovblindhet.no/publikasjoner-om-medfoedt-doevblindhet.4873964-480618.html) (dovblindhet.no)\n\n[Publikasjoner om ervervet døvblindhet](https://www.dovblindhet.no/publikasjoner-om-ervervet-doevblindhet.4874059-480618.html) (dovblindhet.no)\n\n[Nordisk definisjon av døvblindhet, 2016](https://www.dovblindhet.no/?cat=440667) (dovblindhet.no)\n\nInnholdet er levert av [Nasjonal kompetansetjeneste for døvblinde (NKDB)](/samarbeidspartnere/#nasjonal-kompetansetjeneste-for-dovblinde-(nkdb))\n\nSlik refererer du til innholdet Nasjonal kompetansetjeneste for døvblinde (NKDB). Døvblindhet. [Internett]. Oslo: Helsedirektoratet; oppdatert torsdag 20. juni 2024 [hentet tirsdag 9. desember 2025]. Tilgjengelig fra: [https://www.helsenorge.no/sykdom/sjeldne-diagnoser/dovblindhet/](https://www.helsenorge.no/sykdom/sjeldne-diagnoser/dovblindhet/)\n\nSist oppdatert torsdag 20. juni 2024',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4698, 0.2314],
#         [0.4698, 1.0000, 0.1588],
#         [0.2314, 0.1588, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Dataset: dev_triplet
• Evaluated with <code>TripletEvaluator</code>

Information Retrieval

• Dataset: dev_ir
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 565,173 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 21.43 tokens</li><li>max: 57 tokens</li></ul>	<ul><li>min: 32 tokens</li><li>mean: 1025.54 tokens</li><li>max: 2048 tokens</li></ul>	<ul><li>min: 26 tokens</li><li>mean: 958.66 tokens</li><li>max: 2048 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Kva gjer sjukehuset når krefttypen til barnet er så uvanleg at dei ikkje har ein ferdig behandlingsplan?</code>	<code># 9.4. Sjeldne svulster<br><br>I tillegg til de svulstene som her er omtalt, finnes det en rekke andre svulsttyper som forekommer svært sjelden. Dette gjelder dels svulsttyper som er mer eller mindre spesifikke for barnealder, dels mer «voksne» svulster. Felles for disse ekstremt sjeldne svulsttypene er at det ikke finnes spesifikke behandlingsprotokoller for barn, og man må som regel i hvert enkelt tilfelle skreddersy en behandling ut fra histologisk type, barnets alder og egne eller andres erfaringer med lignende svulsttyper.<br><br>Les hele</code>	<code># Pakkeforløp for kreft hos barn<br><br>Barneonkologisk avdeling, i noen tilfeller nevrokirurgisk avdeling, er primært ansvarlig for kontrollopplegget, og kontrollene utføres i samarbeid med de lokale barneavdelinger.<br><br>Ved mistanke om tilbakefall og undersøkelsene bekrefter dette, planlegger barneonkologen etter MDT- møte behandlingsopplegget. Beslutning om behandling tas i samråd med pasient/familie.<br><br># Informasjon og dialog med pasient/pårørende<br><br>Den legen som ser pasienten ved kontrollundersøkelser har ansvar for at familien informeres om undersøkelsesresultater. Ofte deltar kontaktsykepleier i poliklinikken/ved dagposten i denne informasjonen.<br><br># Støttebehandling og sykepleie<br><br>Sykepleier/koordinator bør ha selvstendige konsultasjoner eventuelt i form av spesielle poliklinikkonsultasjoner for å kartlegge pasientens behov for habilitering og familiens psykososiale situasjon.<br><br># Håndtering av tilbakefall<br><br>Ved tilbakefall av kreftsykdom (lokalt eller regionalt residiv, eller fjernmetastaser)...</code>
  <code>rette opp ryggen til ungdom</code>	<code># Skoliose hos ungdom - operasjon

  <br> <br>Ved operasjon avstivar vi dei aktuelle områda av ryggen. <br> <br>Dersom ryggskeivskapen blir stor, er det sannsynleg at han vil auke vidare etter at du er utvaksen. </code> | <code>Jeg har taushetsplikt.<br><br>##### Lege<br><br>Martine Ødegård<br><br>##### Sexologisk rådgiver for barn og unge opp til 25 år<br><br>Miriam (Mie) Englund<br><br>Mobil 474 89 259<br><br>HFU har en sexologisk rådgiver som gir råd og veiledning om seksualitetet og seksuell helse for barn og unge med familier. Lurer du på noe knyttet til seksualitet, eller har du nen utfordringer eller problemer?<br><br>**Vi tilbyr:**<br><br>Samtaler på helsestasjon for ungdom.<br><br>Samarbeid med andre fagpersoner ved behov.<br><br>Aktuelle tema og råd for veiledning kan være:<br><br>- Seksuell helse og utvikling<br>- Endringer knyttet til seksuell lyst eller mangel på seksuell lyst<br>- Samleiesmerter og andre smertetilstander i vulva/penis<br>- Prestasjonsangst<br>- Ereksjonssvikt<br>- For tidlig sædavgang<br>- Orgasmeutfordringer<br>- Seksualitet og sykdom<br>- Seksualitet og funksjonsvariasjon<br>- Seksualitet etter seksuelle overgrep eller negative seksuelle opplevelser<br>- Seksualitet og ulike tenningsmønster, fetisjer og fantasier<br>- Seksualitet og identitet, kjønnsidentitet, kjønnsinkongr...</code> | | <code>Hva skjer dersom et utviklingsavvik oppdages under fosterdiagnostikk?</code> | <code># Å stille ein sjeldan diagnose<br><br>Mange opplever ein lang og krunglete veg før ein sjeldan diagnose blir stilt. Av og til kjem ikkje legen fram til ein endeleg diagnose.<br><br>Sjeldne tilstandar kan vere vanskelege å diagnostisere, fordi ulike delar av kroppen din kan bli påverka.<br><br>Samtidig kan stadig fleire sjeldne tilstandar diagnostiserast. Dette kjem av store framsteg innan medisinsk genetikk.<br><br>Diagnoseprosessen krev eit tett samarbeid mellom personen som blir greidd ut, familien og helsetenesta. Diagnosen kan stillast på ulike stadium i livet.<br><br>## Å stille ein diagnose på fosterstadiet<br><br>[Fosterdiagnostikk](/undersokelse-og-behandling/fosterdiagnostikk) kan gjere det mogleg å oppdage ein del sjeldne utviklingsavvik hos fosteret. Dersom avviket må behandlast, er det i nokre tilfelle mogleg å behandle fosteret medan det endå er i mors mage. Nokre svært alvorlege tilstandar kan gjere at fosteret ikkje overlever. Det kan føre til svangerskapsavbrot (abort).<br><br>[Om legen mistenker eller har fun...</code> | <code>## Hvordan skille et andrespråk i utvikling fra språkforstyrrelser?<br><br>Hvorfor opplever vi at noen barn og unge med flerspråklig bakgrunn har så usikre språkferdigheter at det kan forveksles med DLD?<br><br>Det kan være vanskelig å identifisere flerspråklige barn og unge med lærevansker - spesielt vansker med språk og lesing.<br><br>Flerspråklige barn og unge utvikler språk på samme måte som enspråklige, og det å eksponeres for flere språk er ikke et hinder for å utvikle gode språkferdigheter. Det antas at det er samme prosentandel flerspråklige som enspråklige barn og unge som har ulike typer lærevansker. Det er allikevel overidentifisering, når det gjelder flerspråklige elever med mulige spesialpedagogiske behov.<br><br>## Et andrespråk i utvikling kan ligne DLD<br><br>Det er spesielt komplisert å skille mellom flerspråklige barn som er tidlig i sin norskspråklige utvikling og flerspråklige barn med DLD. I begge tilfeller vil språkferdighetene på norsk kjennetegnes av:<br><br>- svakt ordforråd<br>- usikre bøyningsform...</code> |
• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Evaluation Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 5,767 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 21.74 tokens</li><li>max: 59 tokens</li></ul>	<ul><li>min: 34 tokens</li><li>mean: 1016.43 tokens</li><li>max: 2048 tokens</li></ul>	<ul><li>min: 28 tokens</li><li>mean: 963.02 tokens</li><li>max: 2048 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>koble ting sammen for bedre lyd</code>	<code>](#hva)<br><br>### Hva er hjelpemiddelet?<br><br>Alle høreapparatmodeller har tilbehør som kan benyttes i ulike lyttesituasjoner.<br><br>Tilbehør til høreapparat er fjernkontroller eller mellomledd som du trenger for å koble høreapparatet ditt til andre lydkilder eller hjelpemidler.<br><br>Dette kan være eksterne mikrofoner som kobles til høreapparatet ditt for at du skal høre tale bedre. Det kan også være tilbehør for å koble TV eller radio direkte til høreapparatet.<br><br>Lyttehjelpemidler til TV og radio Hjelpemiddel<br><br>Du kan få egen fjernkontroll som tilbehør hvis du trenger det, for eksempel hvis du har redusert finmotorikk.<br><br>Et tilbehør kan være en telefonstreamer, som kobler mobiltelefonen til høreapparatet. Samtidig har mange nyere høreapparater løsninger for blåtann (bluetooth). Disse kan koble høreapparatet direkte til mobiltelefon, nettbrett eller datamaskin uten bruk av et tilbehør.<br><br>Lyttehjelpemidler for telefon Hjelpemi...</code>	<code>Fra åpen dør til å stange hodet i veggen. Foreldres erfaringer med skole-hjem-samarbeid når barna og de unge har en sjelden diagnose. 2017(3). (Enkeltsstudie).<br>28. Utdanningsdirektoratet. 2024. Samarbeid mellom hjem og skole . (Offentlig nettside).<br>29. Lov om grunnskoleopplæringa og den vidaregåande opplæringa (opplæringslova), (2023). (Offentlig nettside).<br>30. Velferdsetaten NAV. 2019. [Rundskriv til Folketrygdloven kap. 10: Stønad for å kompensere for utgifter til bedring av arbeidsevnen og funksjonsevnen i dagliglivet. § 10-8 Forholdet til ytelser etter annen lovgivning](https://www.pvv.ntnu.no/~thomassk/jus/trygderett/ru...</code>
  <code>Hvor lang tid tar det for Nav å behandle en klage til Nav-enhet?</code>	<code>Du må ha sendt en søknad som er blitt behandlet for å kunne klage. Du kan ikke klage på muntlig avslag.<br><br>#### Klage på vedtak<br><br>I vedtaket står det hvordan du går fram hvis du skal klage, hvem du skal klage til og klagefrist. Hvis du har spørsmål om vedtaket, kan du kontakte oss .<br><br>Send klage Ettersend dokumentasjon<br><br>#### Anke vedtak<br><br>Hvis du er uenig i svaret på klagen din fra Nav klageinstans, kan du med noen unntak anke vedtaket. Fristen for å anke står i vedtaket.<br><br>Send anke Ettersend dokumentasjon<br><br>Du kan også bruke advokat eller gi fullmakt til en person som klager på dine vegne.<br><br>Klagerettigheter Slik gjør du det<br><br>Saksbehandlingstid...</code>	<code>Leveringstid for hjelpemiddelet kommer i tillegg til saksbehandlingstiden.<br><br>| Saken gjelder | Forventet saksbehandlingstid |<br>|---------------------------------------|--------------------------------|<br>| Søknad om hjelpemiddel til dagligliv | 17 dager |<br>| Søknad om hjelpemiddel til arbeidsliv | 21 dager |<br><br>### Personvern og automatisk saksbehandling<br><br>For å kunne vurdere barnets rett til støtte til briller, må Nav behandle noen personopplysninger om barnet.<br><br>Slik behandler Nav personopplysningene<br><br>Vi behandler personopplysninger om<br><br>- fødselsnummer<br>- navn<br>- alder<br>- bostedsadresse<br>- brillestyrke<br>- tidligere støtte til briller<br><br>Fra optiker får Nav informasjon om barnets fødselsnummer og brillestyrke. Dette trenger vi for å validere navn, alder og om barnet er bosatt på en folkeregistrert adresse. Basert på brillestyrken, regner vi ut hvor mye støtte barnet har rett på. Vi sjekker også at barnet ikke allere...</code>
  <code>Vi har en gutt på 8 år med stor tannbehandlingsangst og flere hull som må fikses, når kan tannbehandling i narkose vurderes og hva må vi ha med i samtykke og info?</code>	<code>Generell veileder i pediatri kapittel 13.5 og 13.6 (helsebiblioteket.no) .

  <br> <br>Sedasjon kan bidra til at barn og unge som ikke mestrer tannbehandling med smertelindring, får mindre psykisk belastning og derav motvirke utvikling av tannbehandlingsangst med påfølgende ressurskrevende tiltak. <br> <br>Midazolam er førstevalg fordi virkestoffet har rask innsettende effekt og kortere halveringstid enn diazepam, jf. [Tannbehandlingsangst (legemiddelhandboka.no)](https://www.legemiddelhandboka.no/T11.4.14/Tannbehandlingsangst) . En systematisk oversikt viser at bruk av oral midazolam fører til en mer samarbeidsvillig pasient enn placebo, og det ble rapportert få bivirkninger (Ashley et al., 2018). En retningslinje fra NICE 2010, og som ble gjennomgåt...</code> | <code>Det er behov for at fylkeskommunen utarbeider planer med en gradvis økning av personell.<br><br>Kartleggingsverktøyet NOT-S kan lastes ned gratis, men personell som skal benytte dette må lære seg verktøyet. Det at tannhelsepersonell begynner å bruke dette verktøyet er tonet ned i anbefalingen.<br><br># Tannhelsepersonell skal ved behov samarbeide tverrfaglig om utredning, behandling og oppfølging av barn og unge<br>## Begrunnelse<br>### Forskningsgrunnlag<br>##### PICO<br>##### **Beskrivelse av inkluderte studier**<br><br>**Populasjon (P)**<br>Barn og ungdom med habilteringsbehov<br>**Tiltak (I)**<br>Vurdering av oral motorikk og funksjon for hvert barn<br>**Sammenligning (C)**<br>Ingen vurdering av oral motorikk og funksjon<br>Forskningsgrunnlaget er basert på 2 systematiske oversikter og 12 primærstudier fra søk utført av biblioteket i Helsedirektoratet.<br><br>#### Oral helse<br><br>En systematisk oversikt så på oral helse hos personer innlagt på intensivavdeling på sykehus (Terezakis et al., 2011). Fem studier ble inkludert, hvorav en studi...</code> |
• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 96
• per_device_eval_batch_size: 48
• learning_rate: 1.5e-05
• weight_decay: 0.01
• num_train_epochs: 1.0
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 96
• per_device_eval_batch_size: 48
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->