splade-norwegian-health-v13-margin-filtered

SPLADE v13 — Norwegian health (v7-klonly recipe on v8-distill-v1 filtered to margin >= 2.0, drops ~14% noisy rows). Pure SparseDistillKLDivLoss T=2.0, doc_reg=1.5e-1 threshold=200.

This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from thivy/splade-multilingual-norwegian-health-summaries-v4 on the eti-embedding-splade-v8-distill-v1 dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
• Base model: thivy/splade-multilingual-norwegian-health-summaries-v4 <!-- at revision d92eb1c0581ffdc38f5d8baacad9fa8efb18238c -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 105879 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • eti-embedding-splade-v8-distill-v1
• Language: no
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Router(
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
      )
      (document): Sequential(
        (0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("sparse_encoder_model_id")
# Run inference
queries = [
    "oppl\u00e6ringspenger foreldre til barn med PWS",
]
documents = [
    'Dokumentet gir en oversikt over rettigheter og offentlige tjenester for personer med Prader-Willis syndrom (PWS) og deres familier, og retter seg mot pårørende, personer med PWS, samt tjenesteytere. Temaet er helhetlig støtte og individuell tilrettelegging, med vekt på nødvendigheten av koordinert og tett oppfølging gjennom ulike livsfaser. Dokumentet omtaler flere konkrete tjenestetyper: samarbeid og samordning gjennom individuell plan og ansvarsgruppe, støttekontakt, brukerstyrt personlig assistanse (BPA), omsorgsstønad, hjelpestønad (inkludert forhøyet hjelpestønad), grunnstønad, pleiepenger, omsorgspenger, opplæringspenger, avlastning (både vurdering og rettigheter), ledsagerbevis og støtte til tannbehandling. For personer over 18 år nevnes vurdering av vergemål i henhold til vergemålsloven § 20. Sentrale vilkår og krav er behovsprøving, individuell vurdering og hensyn til brukermedvirkning. Spesifikke beløp, satser, frister eller presis saksbehandlingstid nevnes ikke i selve dokumentet, men informasjon om dette, samt detaljer om søknadsskjema, klagerett og prosess, henvises til Frambus temasider. Det presiseres at systematisk tilrettelegging, brukermedvirkning, og skriftlige avtaler er viktige elementer, og at kunnskap om lovverk relatert til tvang og makt (helse- og omsorgstjenesteloven kap. 9) er nødvendig for alle involverte. Dokumentet er sist faglig oppdatert 28.10.2021.',
    'Dokumentet «Arbeidsliv» gir en grundig beskrivelse av utfordringer og tilretteleggingsbehov for personer med Williams syndrom (WS) i arbeidslivet. Hovedtemaet er hvordan voksne med WS kan få et meningsfullt og tilpasset arbeidsforhold, med råd både til personer med diagnosen, deres pårørende og fagpersoner som bistår med opplæring og arbeidstilrettelegging. Tjenestetypen omhandler individuell tilpasning av opplæring og arbeid, samt bruk av NAVs arbeidsmarkedstiltak.\n\nDokumentet beskriver konkrete egenskaper mange med WS har, som god verbal kommunikasjon, men ofte begrenset intellektuell kapasitet, sosiale og empatiske trekk, motoriske utfordringer, persepsjonsvansker og økt behov for struktur og støtte. Det legges vekt på motivasjon, mestring og å unngå for høye krav. For valg av yrke anbefales service- og hjelpefunksjoner (f.eks. postombæring, kantine, gartneri, vaktmesterassistent, assistent på bibliotek eller i eldreomsorgen). Arbeid med mye rutine, tallbehandling eller kassebetjening frarådes ofte. Personer med WS bør ha varierte oppgaver, tett oppfølging og mulighet for hyppige pauser, særlig på grunn av konsentrasjonsutfordringer og redusert utholdenhet.\n\nDokumentet gir ikke konkrete beløp, satser, varigheter, søknadsfrister, saksbehandlingstider eller formelle krav knyttet til ytelser eller tiltak. Det henvises til NAV for aktuelle arbeidsmarkedstiltak, men presiserer ingen  søknadssteg eller klageregler. For informasjon om rettigheter og prosedyrer, henvises det til temasider om arbeid og tilrettelegging. Dokumentet er sist faglig oppdatert 19.12.2023.',
    'Søskenintervensjonen SIBS er et forebyggende gruppetiltak rettet mot søsken til barn med fysisk eller psykisk funksjonsnedsettelse, med mål om å styrke familiers evne til å håndtere diagnoser gjennom åpne samtaler om utfordringer. Kursets hovedmålgruppe er fagpersoner i kommunene som ønsker å bli gruppeledere eller tilretteleggere for slike søskengrupper. Tjenestetypen er opplæring gjennom kurs delt i tre deler: (1) et nettbasert kurs, (2) en to-dagers praktisk workshop, og (3) tilgang til ekstraressurser. Nettkurset er inndelt i fem deler som tar for seg bakgrunn, målsettinger, roller, håndtering av utfordringer og forberedelse til praktisk del. Etter fullført nettbasert del kreves det innsending av et refleksjonsnotat. Fagansvarlig vurderer dette notatet før deltager mottar kursbevis, SIBS-manual og invitasjon til praktisk workshop. Det er ingen oppgitte beløp, satser eller deltakeravgifter, og varighet på nettkurset er ikke spesifisert, men praktisk workshop varer i to dager. Det stilles krav om aktiv deltakelse, refleksjonsnotat og fullført praktisk del for å kvalifisere for ytterligere ressurser. Dokumentet spesifiserer ikke saksbehandlingstid, frister, formell søknadsprosess eller klageadgang, men gir kontaktinformasjon for eventuell veiledning.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[11.3765,  3.1364,  1.6185]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Sparse Information Retrieval

• Datasets: fasit and keyword_fasit
• Evaluated with <code>SparseInformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

eti-embedding-splade-v8-distill-v1

• Dataset: eti-embedding-splade-v8-distill-v1 at 7108367
• Size: 807,437 training samples
• Columns: <code>query</code>, <code>positive</code>, <code>negative</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative	label
  type	string	string	string	list
  details	<ul><li>min: 8 tokens</li><li>mean: 17.64 tokens</li><li>max: 49 tokens</li></ul>	<ul><li>min: 226 tokens</li><li>mean: 381.08 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 263 tokens</li><li>mean: 381.5 tokens</li><li>max: 503 tokens</li></ul>	<ul><li>size: 2 elements</li></ul>

• Samples:

  query	positive	negative	label
  <code>Er det vanleg å få BW-røntgen sjølv om det ikkje er mistanke om karies eller symptom?</code>	<code>Dokumentet gir en sterk faglig anbefaling om at barn og unge over 4 år bør få bitewing-røntgen (BW) ved statusundersøkelse dersom det er nødvendig for diagnostisering av karies, periodontitt, agenesier eller andre tilstander. Målgruppen er tannhelsepersonell som tilbyr forebyggende og diagnostiske tjenester for barn 0-18 år, spesielt ved statusundersøkelser. BW-røntgen øker presisjonen i kariesdiagnostikken og gir opptil åtte ganger høyere registrering av lesjoner i sidesegmentene, sammenlignet med visuell inspeksjon alene. Tjenesten er diagnostisk undersøkelse av tenner og munn, og BW benyttes kun når klinisk behov foreligger.<br><br>Dokumentet presiserer at røntgenopptak skal følge strålevernforskriften § 39, der behandlingsansvarlig tannlege/tannpleier må utføre en individuell berettigelsesvurdering før røntgen tas. BW-røntgen er berettiget når den diagnostiske fordelen overgår risikoen ved strålebruk, og alternative metoder uten stråling vurderes. BW er unødvendig hvis karies kan diagnos...</code>	<code>Dokumentet om Prader-Willi syndrom (PWS) beskriver en sjelden genetisk tilstand som påvirker både fysisk og psykisk utvikling, med betydelige konsekvenser for munn- og tannhelse. Hovedtemaet er hvordan PWS gir spesielle utfordringer for tannhelsepersonell, og dokumentet er særlig rettet mot tannleger, tannpleiere, foreldre og helsepersonell som arbeider med pasienter med PWS. Tjenestetypen er offentlig tannhelseoppfølging samt henvisning til spesialiserte enheter, inkludert Nasjonalt senter for sjeldne diagnoser.<br><br>Konkrete fakta: PWS forekommer hos 1 av 10.000 til 1 av 30.000 nyfødte. Salivasekresjon er betydelig redusert (<0,1 ml/min hos 54% av de med PWS). Hypodonti er funnet hos nesten 25%, og tanngnissing hos 40%. Kontrollintervaller for tannhelse varierer mellom 3-12 måneder, mens profesjonell tannrengjøring kan være nødvendig hver 2-4 uke. Barn og unge har rett til gratis tannbehandling til året de fyller 18, unge voksne (19-24 år) betaler 25% av taksten. Personer med PWS og u...</code>	<code>[5.1172, -2.2363]</code>
  <code>Kan tilretteleggingen omfatte endringer av bygningen i barnehagen?</code>	<code>Dokumentet omhandler tilrettelegging av barnehagetilbud for barn med nedsatt funksjonsevne, med hovedformål å sikre at disse barna får likeverdige aktivitets- og utviklingsmuligheter som andre barn. Det beskriver hvordan tilrettelegging kan innebære fysiske endringer i barnehagebygg, tilpasning av utstyr, ekstra bemanning, opplæring av ansatte eller andre nødvendige tiltak, og understreker at behovet må vurderes individuelt for hvert barn. Kommunen har ansvar for å sørge for egnet tilrettelegging dersom det ordinære barnehagetilbudet ikke er tilstrekkelig, og skal velge effektive tiltak i samråd med barnets foreldre, med barnets beste som grunnlag. Dokumentet retter seg mot foreldre, barnehageeiere, kommunale saksbehandlere og fagpersoner innen barnehagesektoren. Det tilhører samfunnsområdet utdanning og oppvekst, og omhandler offentlig tjeneste knyttet til barnehage. Sentrale begreper er tilrettelegging, inkludering, nedsatt funksjonsevne, barnehagetilbud, kommunen, og barnets beste. ...</code>	<code>Dokumentet omhandler tilskudd til ombygging av bolig for personer med varig nedsatt gangfunksjon, som alternativ til installasjon av rampe, trappeheis eller løfteplattform. Formålet er å gi økonomisk støtte til varige og praktiske løsninger, slik at boligen blir tilrettelagt for personer med funksjonsnedsettelse, for eksempel ved å samle nødvendige rom på ett plan og etablere trinnfritt inngangsparti. Målgruppen er primært personer med langvarig bevegelsesvansker, deres pårørende, samt fagpersoner som ergoterapeuter og hjelpemiddelformidlere. Tjenesten administreres av Nav hjelpemiddelsentral og gjelder innenfor velferds- og boligområdet. Sentrale begreper er tilskudd, ombygging, funksjonsnedsettelse, folketrygden, hjelpemidler, rampe, trappeheis, løfteplattform, Husbanken, kommunen, finansieringsplan, og Plan- og bygningsloven (TEK). Dokumentet beskriver vilkår for tilskudd, søknadsprosess, nødvendig dokumentasjon, klagerettigheter, og samordning med andre offentlige støtteordninger. ...</code>	<code>[5.149202823638916, -7.481136798858643]</code>
  <code>Henvisning habilitering barn cerebral parese</code>	<code>Dokumentet om habilitering for barn og unge med cerebral parese informerer om tilbudet i spesialisthelsetjenesten, spesielt habiliteringstjenesten for barn og unge (HABU). Hovedtemaet er hvordan helsetjenesten arbeider tverrfaglig for å hjelpe barn og ungdom med cerebral parese til å fungere best mulig i hverdagen, samt hvordan henvisning og oppfølging foregår. Målgruppen er barn og unge med cerebral parese og deres foresatte, samt helsepersonell som skal henvise til HABU. Tjenestetypen er tverrfaglig utrednings-, behandlings- og oppfølgingstilbud fra spesialisthelsetjenesten.<br><br>Dokumentet beskriver detaljerte fakta om henvisningsprosessen: Henvisning kan gjøres av fastlege eller lege ved sykehus, og det kreves en omfattende sjekkliste med konkrete opplysninger (f.eks. pasientopplysninger, diagnose, mål med henvisning, rapporter fra instanser). Det forventes en tverrfaglig vurdering i kommunen før henvisning. Det gis ingen konkrete beløp/satser, varighet eller saksbehandlingstid, men fo...</code>	<code>Dokumentet gir en fagspesifikk innledning til habilitering av barn og unge i spesialisthelsetjenesten, og retter seg hovedsakelig mot helsepersonell, forvaltere og henvisende instanser som jobber med barn og unge med habiliteringsbehov. Tjenestetypen som omtales er spesialisthelsetjenestens habiliteringstilbud, med særlig fokus på kriterier for henvisning, vurdering av behov og relevante juridiske forhold. Dokumentet tar opp hvilke barn og unge som bør henvises til habilitering i spesialisthelsetjenesten, de medisinske og funksjonelle vurderingene som bør ligge til grunn, og klargjør ansvarsdelingen mellom primærhelsetjenesten og spesialisthelsetjenesten. Det gjennomgår juridiske krav, herunder hvem som har rett til vurdering og behandling, hvordan henvisninger skal utformes, og hvilke dokumentasjonskrav som gjelder. Det konkretiseres at spesialisthelsetjenesten skal vurdere henvisninger innen 10 virkedager, og gir informasjon om saksbehandlingstid. Dokumentet beskriver videre vilkår f...</code>	<code>[5.1406, -6.6172]</code>

• Loss: <code>SpladeLoss</code> with these parameters:

  {
      "loss": "SparseDistillKLDivLoss",
      "document_regularizer_weight": 0.15,
      "query_regularizer_weight": 5e-05,
      "document_regularizer_threshold": 200
  }
  

Evaluation Dataset

eti-embedding-splade-v8-distill-v1

• Dataset: eti-embedding-splade-v8-distill-v1 at 7108367
• Size: 1,000 evaluation samples
• Columns: <code>query</code>, <code>positive</code>, <code>negative</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative	label
  type	string	string	string	list
  details	<ul><li>min: 6 tokens</li><li>mean: 18.2 tokens</li><li>max: 52 tokens</li></ul>	<ul><li>min: 228 tokens</li><li>mean: 377.69 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 246 tokens</li><li>mean: 385.34 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>size: 2 elements</li></ul>

• Samples:

  query	positive	negative	label
  <code>Datteren vår på 19 med moderat utviklingshemming sliter med depresjon og utfordrende atferd, hvordan kan vi sikre bedre oppfølging og tilrettelegge for at hun får jobb?</code>	<code>Dokumentet omhandler sammenhengen mellom arbeid og psykisk helse for voksne personer med utviklingshemming, med utgangspunkt i funn fra NOHID-studien og Erlend Refseth Pedersens doktorgradsarbeid ved NTNU. Hovedformålet er å belyse hvordan faktorer som grad av utviklingshemming, psykiske helseproblemer og utfordrende atferd påvirker muligheten for sysselsetting, samt å undersøke bruk av psykofarmaka og kvaliteten på helsetjenesteoppfølging. Målgruppen er fagpersoner innen helse- og omsorgstjenester, arbeidsgivere, beslutningstakere og andre som arbeider med eller for personer med utviklingshemming. Dokumentet tar for seg offentlige tjenester knyttet til arbeidsinkludering, habilitering, psykisk helsevern og sosialtjenester. Sentrale begreper er utviklingshemming (mild, moderat, alvorlig), psykisk helse, utfordrende atferd (bl.a. irritabilitet og verbal atferd), sysselsetting (ordinært arbeid, VTA-bedrifter, dagtilbud), psykofarmaka, medikamentgjennomgang og tverrfaglig oppfølging. Stud...</code>	<code>Dokumentet omhandler rettigheter og tilrettelegging i arbeidslivet for personer med sjeldne diagnoser. Hovedformålet er å informere om hvordan arbeid kan bidra til økonomisk trygghet, sosial tilhørighet og personlig utvikling, samtidig som det belyser utfordringer knyttet til funksjonsnedsettelser som kan påvirke arbeids- og inntektsevne. Målgruppen er primært personer med sjeldne diagnoser, deres foreldre og pårørende, samt fagpersoner som rådgivere, lærere, helsepersonell og arbeidsgivere som bistår i utdannings- og arbeidsforløp. Dokumentet tar for seg offentlige tjenester innen arbeidsliv, inkludering og velferd, med særlig vekt på NAVs rolle i vurdering av inntektsevne og tilretteleggingstiltak. Sentrale begreper inkluderer sjeldne diagnoser, funksjonsnedsettelse, individuell opplæringsplan (IOP), individuell plan (IP), uføretrygd, arbeidsutprøving og tilrettelegging på arbeidsplassen. Det understrekes at rettigheter og tiltak må tilpasses individuelt, og at det ikke finnes automa...</code>	<code>[5.145002841949463, -6.430434703826904]</code>
  <code>Hvordan kan vi søke om støtte til behandling i utlandet for barnet vårt?</code>	<code>Dokumentet gir en oversikt over muligheten for økonomisk støtte fra Helfo til behandling, trening eller kurs i utlandet for barn med funksjonsnedsetting. Hovedtemaet er hvilke tilbud som kan dekkes, hvem som kan få støtte, hvilke utgifter som refunderes, og hvordan man søker om forhåndsgodkjenning, forskudd og refusjon. Dokumentet er rettet mot foreldre og foresatte til barn med funksjonsnedsetting, samt eventuelt søsken og nødvendige følgepersoner. Det beskriver offentlige helse- og velferdstjenester, spesielt knyttet til refusjonsordninger for helserelaterte opphold i utlandet. Sentrale begreper inkluderer funksjonsnedsetting, behandlingstilbud (som Doman-metoden, Kozijavkin-metoden, ABR og FHC), deltakeravgift, reise- og oppholdsutgifter, forhåndsgodkjenning, forskudd, refusjon og nødvendig dokumentasjon. Helfo og Helsedirektoratet er sentrale entiteter. Dokumentet forklarer krav til dokumentasjon, søknadsprosess, saksbehandlingstid og hvordan man ettersender dokumentasjon, og gir p...</code>	<code>Dokumentet gir en veiledning om hvordan man søker om reisestøtte (reisestønad) for reiser til og fra offentlig dekket behandling. Det retter seg mot pasienter, reiseledsagere, nær pårørende, foresatte, verger og fosterforeldre som har behov for økonomisk støtte til transport i forbindelse med helsetjenester. Dokumentet beskriver kriterier for å få reisestøtte, som blant annet krav til reiseavstand, takstsoner og egenandel, samt muligheter for dekning av utgifter til bil, parkering, bom og ferje når offentlig transport ikke er tilgjengelig eller helsemessige forhold krever det. Det forklarer hvordan man søker digitalt via Helsenorge eller med papirskjema, og gir informasjon om spesielle tilfeller som krever særskilt behandling, for eksempel organdonasjon, tuberkulosekontroll, fristbrudd, hemmelig adresse, barn i utsatte familiesituasjoner og søknad på vegne av død pasient. Sentrale begreper er reisestøtte, pasientreise, egenandel, frikort, takstsone, organisert pasientreise og Pasientre...</code>	<code>[5.138899326324463, 2.8771634101867676]</code>
  <code>Hva er foreldrestøttende tiltak i familievernet?</code>	<code>Dokumentet gir en oversikt over hvilke kommunale og spesialiserte tjenester som tilbyr foreldrestøtte, hvem de er for, og hvilke konkrete tiltak og krav som gjelder. Foreldrestøtte er ikke lovpålagt, men inngår i det forebyggende arbeidet kommuner og faginstanser skal utføre. Tilbudene varierer fra kommune til kommune; det finnes ingen nasjonale beløp, satser eller varighetskrav. Helsestasjon og skolehelsetjenesten gir foreldre råd, veiledning og grupper, og følger barn fra 0-20 år. Barneverntjenesten kan, etter undersøkelse og vedtak, gi frivillige hjelpetiltak og tiltaksplan ved særlig behov; prosessen starter med bekymringsmelding og kan utløse vedtak om foreldrestøtte. PPT krever samtykke (foreldre/verge/elever over 15), tilbyr foreldreveiledning og foreldrerådgivning til barn med særlige behov. Familievernet tilbyr veiledning individuelt eller i gruppe; journal føres. Barnehage og skole samarbeider med foreldre, men foreldreveiledning er ikke en ordinær del av skolen. NAV skal hen...</code>	<code>Dokumentet informerer om barneverntjenestens rådgivningstjenester i Sarpsborg, med hovedtema å hjelpe barn, unge og voksne som er bekymret for barns omsorgssituasjon. Målgruppen er både private (foreldre, familiemedlemmer, naboer, venner) og offentlige ansatte med meldeplikt, samt barn og ungdom selv. Tjenestetypen er lavterskel rådgivning og veiledning, inkludert mulighet for anonym drøfting, samt bistand i å vurdere og sende bekymringsmelding til barnevernet.<br><br>Dokumentet forklarer konkret at hvem som helst kan kontakte barneverntjenesten anonymt for å diskutere bekymring. Bekymringsmelding sendes enten via telefon (69 10 83 00) eller nasjonal portal (https://bekymringsmelding.fiks.ks.no/). Frist: Barneverntjenesten skal innen én uke vurdere om en mottatt melding skal henlegges eller undersøkes, og gir skriftlig/muntlig bekreftelse til privat melder innen tre uker. Saksbehandlingstiden starter formelt med meldingsmottak.<br><br>Du kan melde med navn, anonymt via telefon/brev, eller velge at...</code>	<code>[5.1406, -7.3672]</code>

• Loss: <code>SpladeLoss</code> with these parameters:

  {
      "loss": "SparseDistillKLDivLoss",
      "document_regularizer_weight": 0.15,
      "query_regularizer_weight": 5e-05,
      "document_regularizer_threshold": 200
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 4
• gradient_accumulation_steps: 2
• learning_rate: 1e-05
• weight_decay: 0.01
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• dataloader_num_workers: 2
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• router_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 12
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

• The bold row denotes the saved checkpoint.

</details>

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseDistillKLDivLoss

@misc{lin2020distillingdenserepresentationsranking,
      title={Distilling Dense Representations for Ranking using Tightly-Coupled Teachers},
      author={Sheng-Chieh Lin and Jheng-Hong Yang and Jimmy Lin},
      year={2020},
      eprint={2010.11386},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2010.11386},
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->