Downloads · 30 days
0
thivy/splade-norwegian-health-v14
splade-norwegian-health-v14 is a feature extraction model from thivy. Use it when you need embeddings to search or compare text. It is set up for sentence-transformers. The card lists the license as apache-2.0.
This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from thivy/splade-multilingual-norwegian-health-summaries-v4 on the eti-embedding-splade-v14-distill-v1 dataset using the sentence-transformers…
Downloads · 30 days
0
Access
Public
Updated Jul 3, 2026
Repo size
670 MB
Likes
0
Public
Click a slice to open those files.
.safetensors670 MB · 99%
From the Hugging Face model README
This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from thivy/splade-multilingual-norwegian-health-summaries-v4 on the eti-embedding-splade-v14-distill-v1 dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.
SparseEncoder(
(0): Router(
(sub_modules): ModuleDict(
(query): Sequential(
(0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
)
(document): Sequential(
(0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
(1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
)
)
)
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SparseEncoder
# Download from the 🤗 Hub
model = SparseEncoder("sparse_encoder_model_id")
# Run inference
queries = [
"Hvem har v\u00e6rt med p\u00e5 \u00e5 lage anbefalinger for tannbehandling og frykt hos barn?",
]
documents = [
'Dette dokumentet beskriver metode og prosess bak den første nasjonale faglige retningslinjen for tannhelsetjenester til barn og unge (0–20 år) i Norge. Hovedtemaet er å etablere standarder for faglig forsvarlige og kvalitetsmessig gode tannhelsetjenester, med fokus på forebygging, diagnostikk, behandling, organisering og tverrfaglig samarbeid. Målgruppen er ledere og ansatte i offentlig og privat tannhelsetjeneste, odontologiske utdanningsmiljøer, tannlegespesialister, samt andre fagpersoner i kontakt med barn og unge, som helsepersonell, barnevern, barnehager og skoler. Tjenestetypen er nasjonale retningslinjer som gir anbefalinger for individrettede tannhelsetiltak.\n\nDokumentet forklarer at retningslinjens anbefalinger bygger på en kunnskapsbasert tilnærming der forskningsbasert kunnskap, klinisk erfaring og brukererfaringer veies sammen. Arbeidsgruppen utformet 75 PICO-spørsmål, gjennomførte systematiske litteratursøk i bl.a. MEDLINE og Cochrane, og benyttet GRADE-verktøyet for å vurdere kunnskapsgrunnlaget. Anbefalingene graderes som sterke («skal», «må», «bør») eller svake («kan», «foreslår»), med noen lovkrav. Retningslinjen er ikke juridisk bindende, men har betydelig rettslig vekt og avvik skal dokumenteres. Prosessen inkluderte interne og eksterne høringer (47 innspill i 2017, 33 i 2020) og flere rådslag. Ingen eksplisitte satser, beløp, frister, saksbehandlingstider eller detaljerte søknads- eller klageprosedyrer er omtalt i dette kapitlet.',
'Dokumentet omhandler barnemishandling, seksuelle overgrep og omsorgssvikt blant barn og unge, med hovedmålgruppe tannhelsepersonell. Temaet dekker definisjoner og forståelse av relevante begreper, samt retningslinjer for hvordan tannhelsepersonell skal håndtere mistanke om slike alvorlige forhold. Tjenestetypen er forebyggende og oppfølging fra tannhelsetjenesten i samspill med barnevernet.\n\nDokumentet gir konkrete fakta: Ifølge helsepersonelloven har tannhelsepersonell både opplysningsplikt til barnevernet og avvergelsesplikt til politiet. Opplysningsplikten skal utløses umiddelbart og på eget initiativ når det er grunn til å tro at barn eller ungdom utsettes for mishandling eller alvorlig omsorgssvikt. Det kreves ikke sannsynlighetsovervekt for å melde; enkelttegn eller opplysninger kan være tilstrekkelig. Saksbehandlingsprosessen innebærer individuell vurdering, dokumentasjon i journal, og begrunnet melding til barnevernet—som hovedregel informeres foresatte, men dette kan unnlates ved fare for barnet. Klagerett omtales ikke spesifikt, men barnevernstjenesten skal gi tilbakemelding til den som melder innen tre uker etter mottatt melding, jf. barnevernsloven § 13-3. Meldingen gis vanligvis skriftlig, men ved akutt fare kan det meldes muntlig. Dokumentet lister også konkrete tegn på mishandling/omsorgssvikt, og anbefaler kompetanse i samtalemetodikk og observering.',
'Dette dokumentet inneholder en sterk faglig anbefaling for tannleger om å behandle pulpaeksponering grunnet karies i unge, vitale permanente tenner med partiell pulpotomi. Målgruppen er barn og unge med denne tilstanden, og tjenestetypen omfatter operativ tannbehandling. Hovedtemaet er valg av korrekt behandlingsmetode avhengig av pulpas tilstand: Det anbefales partiell pulpotomi ved vital, symptomfri pulpa og reversibel pulpitt; pulpektomi ved irreversibel pulpitt, og ekstraksjon kun i spesielle tilfeller. Prosedyren for partiell pulpotomi inneholder anestesi, bruk av kofferdam, fjerning av 1-2 mm inflammet pulpa, hemostase, dekking av pulpasåret med kalsiumhydroksid eller mineral trioxide aggregate (MTA), påføring av glassionomersement og deretter restaurering av tannen.\n\nDokumentet viser til studier med 89–91 % vellykket behandlingsresultat etter 3–4,5 år ved korrekt utført partiell pulpotomi forutsatt symptomfri tann uten tegn til infeksjon. Det understrekes at både kalsiumhydroksid og MTA gir like god pulpaoverlevelse. Det gis ingen eksplisitte beløp, satser, varighet eller tidsfrister; behandlingsvalg avgjøres ut fra kliniske funn. Anbefalingen støttes av konsensusrapport fra European Society of Endodontology og har lav dokumentasjonskvalitet, men bygger på ekspertise og klinisk erfaring. Klagerett eller formelle søknadssteg omtales ikke, og ressursbelastningen anslås som uendret sammenlignet med dagens praksis.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]
# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[12.0494, 7.7216, 11.0029]])
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
fasit and keyword_fasit| Metric | fasit | keyword_fasit |
|---|---|---|
| dot_accuracy@1 | 0.3418 | 0.56 |
| dot_accuracy@5 | 0.519 | 0.83 |
| dot_accuracy@10 | 0.5696 | 0.93 |
| dot_precision@1 | 0.3418 | 0.56 |
| dot_precision@3 | 0.3291 | 0.2567 |
| dot_precision@5 | 0.3165 | 0.166 |
| dot_precision@10 | 0.2481 | 0.093 |
| dot_recall@1 | 0.0143 | 0.56 |
| dot_recall@3 | 0.0425 | 0.77 |
| dot_recall@5 | 0.0709 | 0.83 |
| dot_recall@10 | 0.1023 | 0.93 |
| dot_ndcg@10 | 0.2835 | 0.7419 |
| dot_mrr@10 | 0.3977 | 0.6823 |
| dot_map@100 | 0.1681 | 0.6857 |
| query_active_dims | 17.5063 | 11.78 |
| query_sparsity_ratio | 0.9998 | 0.9999 |
| corpus_active_dims | 165.196 | 190.2151 |
| corpus_sparsity_ratio | 0.9984 | 0.9982 |
| avg_flops | 1.7436 | 1.7098 |
| query | positive | negative | label | |
|---|---|---|---|---|
| type | string | string | string | list |
| details | <ul><li>min: 8 tokens</li><li>mean: 19.14 tokens</li><li>max: 70 tokens</li></ul> | <ul><li>min: 302 tokens</li><li>mean: 401.03 tokens</li><li>max: 504 tokens</li></ul> | <ul><li>min: 277 tokens</li><li>mean: 403.37 tokens</li><li>max: 497 tokens</li></ul> | <ul><li>size: 2 elements</li></ul> |
| query | positive | negative | label |
|---|---|---|---|
| <code>Dokumentasjon av ernæringsstatus i kommunehelsetjenesten</code> | <code>Dokumentet omhandler vurdering, planlegging og oppfølging av pasienters ernæringsstatus i helse- og omsorgstjenesten, primært rettet mot helsepersonell i sykehus, sykehjem og hjemmebaserte tjenester. Hovedtemaet er å sikre at pasienters ernæringsbehov blir systematisk kartlagt, dokumentert og fulgt opp gjennom individuelle ernæringsplaner. Tjenestetypen omfatter både vurdering, forebygging og behandling av underernæring.<br><br>Konkret spesifiserer dokumentet at alle pasienter skal veies ved innkomst og jevnlig; ukentlig på sykehus og månedlig i sykehjem eller hjemmebaserte tjenester. Ernæringsstatus skal dokumenteres i pasientjournal eller IPLOS-systemet i kommunehelsetjenesten. Ved ernæringsmessig risiko kreves en grundigere vurdering av årsaksfaktorer. Pasienter i institusjon eller med bistandsbehov skal få sitt energibehov dekket, hvor tommelfingerreglene er: 30 kcal/kg kroppsvekt/døgn for energi, 1 gram protein/kg kroppsvekt/døgn for protein, og 30 ml/kg kroppsvekt/døgn for væske. Barn ...</code> | <code>Dokumentet omhandler ernæringsmessige utfordringer og anbefalt oppfølging for personer med spinal muskelatrofi (SMA), og retter seg mot helsepersonell, pasienter og pårørende. Hovedtemaet er hvordan sykdommen påvirker ernæringssituasjonen, og hvilke tiltak og vurderinger som bør tilbys for å sikre god helse. Tjenestetypen er helsefaglig veiledning og individuell oppfølging.<br><br>Dokumentet gir konkrete retningslinjer for regelmessig vurdering av ernæringsstatus for alle aldersgrupper med SMA, da muskelatrofi gir redusert muskelmasse og gjør ordinære vekstkurver og BMI utilstrekkelige som eneste måleparameter. Det anbefales vurdering av spisefunksjon ved faste kontroller, og at svelgefunksjon utredes med svelgfilming (videofluoroskopi) ved mistanke om feilsvelging. Ved påvist spisevansker eller utilstrekkelig matinntak, skal pasienten henvises til individuell ernæringsrådgivning og ved behov tilbys gastrostomi (sonde til magesekken).<br><br>SMA gir økt risiko for både underernæring og overvekt. E...</code> | <code>[5.1484, 2.8223]</code> |
| <code>Forskjell mellom å bruke kvalifisert tolk og ansatte med flerspråklig bakgrunn i skolen</code> | <code>Dokumentet om bruk av tolk i barnehagen og skolen omhandler hvordan barnehager, skoler, SFO og PP-tjenesten skal sikre god kommunikasjon med nyankomne barn, elever og deres foreldre, som har begrensede norskferdigheter. Hovedtemaet er tolketjenester i oppvekstsektoren, med målgruppe ledere og ansatte i barnehage, skole, SFO og tilhørende støttetjenester. Dokumentet forklarer tjenestetype: bruk av kvalifiserte tolker i møter hvor språklige barrierer kan hindre at rettigheter og informasjon blir ivaretatt.<br><br>Konkrete fakta dekkes slik: Offentlige organer (inkludert barnehager, skoler, SFO og PP-tjenesten) har plikt til å bruke tolk i henhold til tolkeloven når det kreves for rettssikkerhet eller forsvarlig tjenesteyting, blant annet i oppstarts- og utviklingssamtaler, sakkyndige vurderinger og alvorlige saker om skolemiljø. Det skal benyttes kvalifiserte tolker fra Nasjonalt tolkeregister, og slektninger, naboer eller ansatte med flerspråklig bakgrunn kan ikke brukes som tolk der lovkrav ...</code> | <code>Dokumentet tar for seg utfordringene elever med språkforstyrrelser møter, både innenfor og utenfor klasserommet. Hovedtemaet er hvordan språkforstyrrelser påvirker elevers læring, sosiale liv og psykiske helse gjennom hele skoleløpet. Målgruppen er primært lærere og annet skolepersonell som arbeider med barn og ungdom med slike vansker, men også foresatte kan ha nytte av informasjonen. Tjenestetypen dokumentet omhandler er rådgivning og tilrettelegging i skolen for elever med språkforstyrrelser, særlig med fokus på psykisk helse og sosial inkludering.<br><br>Dokumentet presenterer konkrete eksempler på utfordringer disse elevene kan møte, slik som vansker med å delta i lek og samtaler, oppfatte endringer i regler, forstå humor og ironi, samt å etablere og vedlikeholde vennskap. Det understrekes at elever med språkvansker er i risikogruppen for tilleggsvansker som sosiale, emosjonelle og atferdsmessige problemer, og at manglende språk gjør det vanskelig å uttrykke disse utfordringene. Det gis...</code> | <code>[5.1484, -7.6406]</code> |
| <code>Definisjon minoritetsspråklige faglitteratur Norge</code> | <code>Dette dokumentet er en veiledning for lærere og ledere som møter flerspråklige barn og elever, og gir en oversikt over sentrale begreper knyttet til flerspråklighet i opplæringssituasjoner. Målgruppen er ansatte i skole og barnehage som ønsker en faglig forståelse av begreper de støter på i arbeid med barn og unge med flere språk. Dokumentet presenterer ingen konkrete tjenestetyper, men fungerer som en informasjons- og kompetansehevende ressurs.<br><br>Den kartlegger definisjoner av begreper som flerspråklig, førstespråk, morsmål, hjemmespråk, opprinnelsesspråk, andrespråk, simultan og sekvensiell flerspråklighet, minoritetsspråklig, majoritetsspråk, minoritetsspråk og fremmedspråklig. Eksplicitte fakta inkluderer: Simultan flerspråklighet innebærer eksponering for to eller flere språk fra fødselen eller før barnet er tre år, mens sekvensiell flerspråklighet innebærer at barnet lærer andrespråk etter å ha fått grunnleggende ferdigheter i førstespråket. Eksempler på norske minoritetsspråk er ...</code> | <code>Dokumentet «Kom i gang med norsk tegnspråk» gir en innføring i hvordan man som nybegynner kan lære norsk tegnspråk. Hovedtemaet er opplæring i norsk tegnspråk, rettet mot alle som ønsker å lære språket – enten av nysgjerrighet, personlige grunner, eller fordi man arbeider med hørselshemmede, for eksempel i skole eller barnehage. Tjenestetypen er en veiledning med ressursoversikt, ikke et offentlig støtte- eller søknadssystem.<br><br>Dokumentet informerer om at norsk tegnspråk er et fullverdig, nasjonalt språk i Norge, sidestilt norsk ifølge språkloven § 7. Omtrent 16 000–20 000 personer bruker språket daglig. Dokumentet gir ingen informasjon om tilskuddsbeløp, satser, støtteordninger, saksbehandlingstid, søknadsfrister eller klageadgang, da det ikke beskriver en søknadstjeneste.<br><br>I stedet gis konkrete tips til hvordan man kan starte: Bruke nettressurser som tegnordbok.no eller Statpeds kurs, delta i tegnspråklige miljøer, og oppsøke tegnspråkteater som Teater Manu. Det anbefales å øve jevnli...</code> | <code>[4.7617, -7.2109]</code> |
{
"loss": "SparseDistillKLDivLoss",
"document_regularizer_weight": 0.15,
"query_regularizer_weight": 5e-05,
"document_regularizer_threshold": 200
}
| query | positive | negative | label | |
|---|---|---|---|---|
| type | string | string | string | list |
| details | <ul><li>min: 7 tokens</li><li>mean: 19.49 tokens</li><li>max: 52 tokens</li></ul> | <ul><li>min: 296 tokens</li><li>mean: 397.74 tokens</li><li>max: 504 tokens</li></ul> | <ul><li>min: 302 tokens</li><li>mean: 403.47 tokens</li><li>max: 503 tokens</li></ul> | <ul><li>size: 2 elements</li></ul> |
| query | positive | negative | label |
|---|---|---|---|
| <code>Hvilke regler gjelder for selvstendig næringsdrivende med barn under 13 år?</code> | <code>Dokumentet omhandler omsorgspenger for foreldre med barn som har kronisk sykdom eller funksjonsnedsettelse, og retter seg mot både arbeidstakere og selvstendig næringsdrivende med behov for ekstra omsorgsdager ("syke barn dager"). Tjenesten innebærer at du kan søke om 10 ekstra omsorgsdager per år per barn, eller 20 ekstra dager hvis du er alene om omsorgen. Dersom du har flere barn med kronisk sykdom/funksjonsnedsettelse, kan du få 10 ekstra dager for hvert barn, men du må søke individuelt for hvert barn. Søknaden krever legeerklæring.<br><br>For selvstendig næringsdrivende er egne regler: Har du barn under 13 år, må du dekke de 10 første dagene selv; deretter kan NAV dekke de neste 10 dagene (eller 20 hvis barnet har kronisk sykdom/funksjonsnedsettelse). Hvis det aktuelle barnet er 13 år eller eldre, og du ikke har andre barn under 13, kan du søke NAV om støtte fra første dag. Har du barn både over og under 13 år, må du likevel dekke de 10 første dagene selv.<br><br>Dokumentet gir konkrete svar ...</code> | <code>Dokumentet omhandler tilrettelegging for barn med nedsatt funksjonsevne i barnehage, og er en tolkningsuttalelse fra Utdanningsdirektoratet, rettet mot kommuner, fylkesmenn og barnehageeiere. Hovedtemaet er kommunens ansvar etter barnehageloven § 19 g for å fatte vedtak og sikre hensiktsmessig tilrettelegging i barnehagetilbudet for barn med nedsatt funksjonsevne. Målgruppen er i hovedsak saksbehandlere og ledere i kommunen og tilsynsmyndigheter. Tjenestetypen er individuell tilrettelegging av barnehagetilbud etter lovpålagte plikter.<br><br>Dokumentet konkretiserer at kommunen er ansvarlig vedtakshaver, både i offentlige og private barnehager, og at det må inngås avtale med private barnehager om tilrettelegging; kommunen kan ikke pålegge dem dette. Ved uenighet fra privat barnehage må barnet tilbys plass annet sted. Foreldre har rett til å bli varslet og uttale seg (forvaltningsloven § 16), og samtykke må innhentes før taushetsbelagte opplysninger om barnet deles med andre instanser, inklud...</code> | <code>[-7.459152698516846, -7.673429012298584]</code> |
| <code>Hvordan søker jeg om ledsagerbevis i kommunen?</code> | <code>Dokumentet omhandler ordningen ledsagerbevis, en tjeneste for personer med sykdom eller nedsatt funksjonsevne som har behov for følge eller assistanse for å delta i kultur- og fritidsaktiviteter. Hovedtema er hvem som kan få ledsagerbevis, hvordan det brukes, og hvordan man søker. Målgruppen er personer med varig nedsatt funksjonsevne (over 2 år), inkludert barn med stort assistansebehov, og ulike grupper som bevegelseshemming, sansetap, utviklingshemming, psykiske lidelser, kroniske sykdommer og demens. Tjenesten gis av kommunen, som kan tilby ledsagerbevis som digitalt eller fysisk kort.<br><br>Dokumentet oppgir at det er opp til hver kommune om de tilbyr ledsagerbevis, og kommunen bestemmer også om det skal være digitalt eller fysisk. Ledsagerbeviset gir ledsager gratis adgang til arrangenmenter, men noen arrangører kan gi rabatt i stedet. Det er ikke fastsatt nasjonale satser eller beløp; arrangøren avgjør om ledsageren får gratis adgang eller rabatt. For å søke må man kontakte kommunen,...</code> | <code>TT-kort er en tilrettelagt transporttjeneste for personer med varig funksjonsnedsettelse som er bosatt og folkeregistrert i Trøndelag, og som ikke kan benytte kollektivtransport. Tjenesten er primært rettet mot fritidsreiser med drosje og er ikke lovfestet, slik at ingen har automatisk rett til tilbudet. Søknad om TT-kort krever både et eget søknadsskjema og en legeerklæring, sendt separat til Trøndelag fylkeskommune. Man kan søke digitalt eller via papirsøknad, og behandlingstiden er inntil fire uker.<br><br>TT-kortet har en varighet på 2–6 år, hvor gyldigheten fastsettes i vedtaket. Før utløp varsles brukeren tre måneder i forkant, slik at man rekker å søke på nytt. Kortet fylles på to ganger i året—1. januar og 1. juli. Tildelt beløp varierer fra år til år, men alle mottakere får likt grunnbeløp, som kun er disponibelt det halvåret det tildeles. Ordinær egenandel er 20 %, mens ungdom (10–20 år) betaler 10 %. TT-kort kan ikke benyttes til arbeid, utdanning, skoleskyss, eller pasienttranspo...</code> | <code>[5.1484, -2.7676]</code> |
| <code>Hvordan kan modellæring og selvinstruksjon tilrettelegges for personer med Williams syndrom for å styrke deres utførelse av arbeidsoppgaver?</code> | <code>Dokumentet «Arbeidsliv» gir en grundig beskrivelse av utfordringer og tilretteleggingsbehov for personer med Williams syndrom (WS) i arbeidslivet. Hovedtemaet er hvordan voksne med WS kan få et meningsfullt og tilpasset arbeidsforhold, med råd både til personer med diagnosen, deres pårørende og fagpersoner som bistår med opplæring og arbeidstilrettelegging. Tjenestetypen omhandler individuell tilpasning av opplæring og arbeid, samt bruk av NAVs arbeidsmarkedstiltak.<br><br>Dokumentet beskriver konkrete egenskaper mange med WS har, som god verbal kommunikasjon, men ofte begrenset intellektuell kapasitet, sosiale og empatiske trekk, motoriske utfordringer, persepsjonsvansker og økt behov for struktur og støtte. Det legges vekt på motivasjon, mestring og å unngå for høye krav. For valg av yrke anbefales service- og hjelpefunksjoner (f.eks. postombæring, kantine, gartneri, vaktmesterassistent, assistent på bibliotek eller i eldreomsorgen). Arbeid med mye rutine, tallbehandling eller kassebetjeni...</code> | <code>Dokumentet omhandler hvordan barn med livsbegrensende tilstand og deres familier skal ivaretas emosjonelt og praktisk gjennom sorgprosessen, med særlig vekt på barnets, søskens og foreldres behov. Hovedtemaet er psykososial støtte og tilrettelegging, beregnet for helsepersonell, skole/barnehage, og tros- og livssynssamfunn, samt kommunen, som skal yte palliasjon og koordinere tjenester. Tjenestetypen er helsetjenester og tverrfaglig oppfølging – både praktisk og emosjonelt – til familier der barn har fått en livstruende eller livsbegrensende diagnose.<br><br>Dokumentet gir sterke faglige anbefalinger om at barn og familie bør få oppfølging gjennom hele sykdomsforløpet fra kompetente personer (psykolog, familieterapeut, helsepersonell, kommunale kriseteam, prest, diakon, imam, likeperson/organisasjoner). Søsken skal tilbys individuelt tilpassede tiltak, inkluderes mest mulig og få selvstendig status som pårørende, med egen oppfølging og samtalegrupper. Barn bør få være mest mulig hjemme; syke...</code> | <code>[5.102860927581787, -7.674914836883545]</code> |
{
"loss": "SparseDistillKLDivLoss",
"document_regularizer_weight": 0.15,
"query_regularizer_weight": 5e-05,
"document_regularizer_threshold": 200
}
eval_strategy: stepsper_device_train_batch_size: 16per_device_eval_batch_size: 4gradient_accumulation_steps: 2learning_rate: 1e-05weight_decay: 0.01num_train_epochs: 1warmup_ratio: 0.1seed: 12bf16: Truedataloader_num_workers: 2load_best_model_at_end: Trueddp_find_unused_parameters: Falsegradient_checkpointing: Truegradient_checkpointing_kwargs: {'use_reentrant': False}router_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}overwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 16per_device_eval_batch_size: 4per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 2eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 1e-05weight_decay: 0.01adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 12data_seed: Nonejit_mode_eval: Falsebf16: Truefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Truedataloader_num_workers: 2dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Falseddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Truegradient_checkpointing_kwargs: {'use_reentrant': False}include_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters:auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportionalrouter_mapping: {'query': 'query', 'positive': 'document', 'negative': 'document'}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | fasit_dot_ndcg@10 | keyword_fasit_dot_ndcg@10 |
|---|---|---|---|---|---|
| -1 | -1 | - | - | 0.2949 | 0.7229 |
| 0.0001 | 1 | 0.6123 | - | - | - |
| 0.0100 | 185 | 0.4507 | - | - | - |
| 0.0201 | 370 | 0.4028 | - | - | - |
| 0.0301 | 555 | 0.3939 | - | - | - |
| 0.0402 | 740 | 0.3801 | - | - | - |
| 0.0502 | 925 | 0.3825 | - | - | - |
| 0.0603 | 1110 | 0.3627 | - | - | - |
| 0.0703 | 1295 | 0.3718 | - | - | - |
| 0.0804 | 1480 | 0.365 | - | - | - |
| 0.0904 | 1665 | 0.3568 | - | - | - |
| 0.1000 | 1842 | - | 0.4105 | 0.2879 | 0.7138 |
| 0.1005 | 1850 | 0.3658 | - | - | - |
| 0.1105 | 2035 | 0.3567 | - | - | - |
| 0.1206 | 2220 | 0.3717 | - | - | - |
| 0.1306 | 2405 | 0.3507 | - | - | - |
| 0.1407 | 2590 | 0.35 | - | - | - |
| 0.1507 | 2775 | 0.3589 | - | - | - |
| 0.1608 | 2960 | 0.343 | - | - | - |
| 0.1708 | 3145 | 0.3487 | - | - | - |
| 0.1809 | 3330 | 0.3484 | - | - | - |
| 0.1909 | 3515 | 0.3438 | - | - | - |
| 0.2001 | 3684 | - | 0.3547 | 0.2703 | 0.7335 |
| 0.2009 | 3700 | 0.3424 | - | - | - |
| 0.2110 | 3885 | 0.341 | - | - | - |
| 0.2210 | 4070 | 0.3463 | - | - | - |
| 0.2311 | 4255 | 0.334 | - | - | - |
| 0.2411 | 4440 | 0.3367 | - | - | - |
| 0.2512 | 4625 | 0.3301 | - | - | - |
| 0.2612 | 4810 | 0.3347 | - | - | - |
| 0.2713 | 4995 | 0.3306 | - | - | - |
| 0.2813 | 5180 | 0.3342 | - | - | - |
| 0.2914 | 5365 | 0.3311 | - | - | - |
| 0.3001 | 5526 | - | 0.3708 | 0.2924 | 0.7317 |
| 0.3014 | 5550 | 0.3327 | - | - | - |
| 0.3115 | 5735 | 0.3303 | - | - | - |
| 0.3215 | 5920 | 0.3348 | - | - | - |
| 0.3316 | 6105 | 0.3249 | - | - | - |
| 0.3416 | 6290 | 0.3232 | - | - | - |
| 0.3517 | 6475 | 0.3269 | - | - | - |
| 0.3617 | 6660 | 0.3329 | - | - | - |
| 0.3717 | 6845 | 0.3111 | - | - | - |
| 0.3818 | 7030 | 0.3172 | - | - | - |
| 0.3918 | 7215 | 0.3119 | - | - | - |
| 0.4002 | 7368 | - | 0.3696 | 0.2804 | 0.7327 |
| 0.4019 | 7400 | 0.316 | - | - | - |
| 0.4119 | 7585 | 0.3174 | - | - | - |
| 0.4220 | 7770 | 0.3103 | - | - | - |
| 0.4320 | 7955 | 0.3171 | - | - | - |
| 0.4421 | 8140 | 0.3114 | - | - | - |
| 0.4521 | 8325 | 0.3162 | - | - | - |
| 0.4622 | 8510 | 0.3149 | - | - | - |
| 0.4722 | 8695 | 0.3061 | - | - | - |
| 0.4823 | 8880 | 0.3178 | - | - | - |
| 0.4923 | 9065 | 0.3043 | - | - | - |
| 0.5002 | 9210 | - | 0.4593 | 0.2883 | 0.7154 |
| 0.5024 | 9250 | 0.3111 | - | - | - |
| 0.5124 | 9435 | 0.313 | - | - | - |
| 0.5225 | 9620 | 0.3136 | - | - | - |
| 0.5325 | 9805 | 0.3038 | - | - | - |
| 0.5426 | 9990 | 0.2931 | - | - | - |
| 0.5526 | 10175 | 0.3149 | - | - | - |
| 0.5626 | 10360 | 0.3013 | - | - | - |
| 0.5727 | 10545 | 0.307 | - | - | - |
| 0.5827 | 10730 | 0.2974 | - | - | - |
| 0.5928 | 10915 | 0.3061 | - | - | - |
| 0.6002 | 11052 | - | 0.4903 | 0.2803 | 0.7417 |
| 0.6028 | 11100 | 0.309 | - | - | - |
| 0.6129 | 11285 | 0.2995 | - | - | - |
| 0.6229 | 11470 | 0.3032 | - | - | - |
| 0.6330 | 11655 | 0.3001 | - | - | - |
| 0.6430 | 11840 | 0.2905 | - | - | - |
| 0.6531 | 12025 | 0.2935 | - | - | - |
| 0.6631 | 12210 | 0.2949 | - | - | - |
| 0.6732 | 12395 | 0.3001 | - | - | - |
| 0.6832 | 12580 | 0.3 | - | - | - |
| 0.6933 | 12765 | 0.2904 | - | - | - |
| 0.7003 | 12894 | - | 0.4809 | 0.2835 | 0.7419 |
| 0.7033 | 12950 | 0.2897 | - | - | - |
| 0.7134 | 13135 | 0.2887 | - | - | - |
| 0.7234 | 13320 | 0.2978 | - | - | - |
| 0.7334 | 13505 | 0.2912 | - | - | - |
| 0.7435 | 13690 | 0.2965 | - | - | - |
| 0.7535 | 13875 | 0.3002 | - | - | - |
| 0.7636 | 14060 | 0.2963 | - | - | - |
| 0.7736 | 14245 | 0.2987 | - | - | - |
| 0.7837 | 14430 | 0.2936 | - | - | - |
| 0.7937 | 14615 | 0.2948 | - | - | - |
| 0.8003 | 14736 | - | 0.3705 | 0.2779 | 0.7254 |
| 0.8038 | 14800 | 0.2946 | - | - | - |
| 0.8138 | 14985 | 0.2992 | - | - | - |
| 0.8239 | 15170 | 0.2866 | - | - | - |
| 0.8339 | 15355 | 0.2868 | - | - | - |
| 0.8440 | 15540 | 0.3014 | - | - | - |
| 0.8540 | 15725 | 0.2934 | - | - | - |
| 0.8641 | 15910 | 0.2741 | - | - | - |
| 0.8741 | 16095 | 0.2822 | - | - | - |
| 0.8842 | 16280 | 0.2858 | - | - | - |
| 0.8942 | 16465 | 0.2856 | - | - | - |
| 0.9003 | 16578 | - | 0.4377 | 0.2712 | 0.7442 |
| 0.9043 | 16650 | 0.284 | - | - | - |
| 0.9143 | 16835 | 0.2762 | - | - | - |
| 0.9243 | 17020 | 0.2867 | - | - | - |
| 0.9344 | 17205 | 0.2792 | - | - | - |
| 0.9444 | 17390 | 0.2825 | - | - | - |
| 0.9545 | 17575 | 0.2791 | - | - | - |
| 0.9645 | 17760 | 0.2792 | - | - | - |
| 0.9746 | 17945 | 0.2852 | - | - | - |
| 0.9846 | 18130 | 0.2808 | - | - | - |
| 0.9947 | 18315 | 0.2764 | - | - | - |
| -1 | -1 | - | - | 0.2835 | 0.7419 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{formal2022distillationhardnegativesampling,
title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
year={2022},
eprint={2205.04733},
archivePrefix={arXiv},
primaryClass={cs.IR},
url={https://arxiv.org/abs/2205.04733},
}
@misc{lin2020distillingdenserepresentationsranking,
title={Distilling Dense Representations for Ranking using Tightly-Coupled Teachers},
author={Sheng-Chieh Lin and Jheng-Hong Yang and Jimmy Lin},
year={2020},
eprint={2010.11386},
archivePrefix={arXiv},
primaryClass={cs.IR},
url={https://arxiv.org/abs/2010.11386},
}
@article{paria2020minimizing,
title={Minimizing flops to learn efficient sparse representations},
author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
journal={arXiv preprint arXiv:2004.05665},
year={2020}
}
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->