Downloads · 30 days
0
thivy/splade-multilingual-norwegian-health-merged-v3
splade-multilingual-norwegian-health-merged-v3 is a feature extraction model from thivy. Use it when you need embeddings to search or compare text. It is set up for sentence-transformers. The card lists the license as apache-2.0.
This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1 on the eti-embedding-training-data-2048-triplets-merged-v3 dataset us…
Downloads · 30 days
0
Access
Public
Updated Jun 23, 2026
Repo size
670 MB
Likes
0
Public
Click a slice to open those files.
.safetensors670 MB · 99%
From the Hugging Face model README
This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1 on the eti-embedding-training-data-2048-triplets-merged-v3 dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.
SparseEncoder(
(0): Router(
(sub_modules): ModuleDict(
(query): Sequential(
(0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
)
(document): Sequential(
(0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
(1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
)
)
)
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SparseEncoder
# Download from the 🤗 Hub
model = SparseEncoder("thivy/splade-multilingual-norwegian-health-merged-v3")
# Run inference
queries = [
"- Hvilke typer aktiviteter kan v\u00e6re nyttige for barn med VCFS for \u00e5 fremme utvikling?",
]
documents = [
'# Tilrettelegging for læring\n\n##### **Kognitiv funksjon og læring**\n\nMange med VCFS har en ujevn kognitiv profil med vansker innen enkelte områder. De kan ha redusert evne til å tolke synsinntrykk og har ofte nonverbale lærevansker (NVL). NVL kan påvirke berørings- og synsoppfatning, rom-/retningssans og sansemotorisk integrasjon samt flere andre kognitive funksjoner som har stor betydning for mestring av nye eller uventede situasjoner. Konsentrasjons- og oppmerksomhetsvansker og vansker med teoretisk og abstrakt tenkning kan i skolesammenheng gi økt behov for tilrettelegging. Problemer med planlegging, komme i gang med og utføre oppgaver, er ofte områder som krever oppfølging i barnehage og skole.\n\nTil tross for økt risiko for vansker på ulike områder, er det stor variasjon innen gruppen med personer med VCFS. Enkelte har ikke lærevansker og har ikke behov for tilrettelegging i barnehage og skole. Frambu kjenner til personer med VCFS med høyere utdanning.\n\n##### **Kommunikasjon og språk**\n\nVerbalspåket er ofte forsinket i tidlig barnealder, og det er vanlig med alternativ og supplerende kommunikasjon før verbalspråket viser en god utvikling. Ved skolestart kan barna vise relativt gode språklige ferdigheter i form av adekvat lydering og godt språklig minne. De kan følge en vanlig utvikling innen leseopplæringen. Etter hvert som kravene øker, vil mange kunne slite med innholdsforståelsen. Mange med VCFS har lite mimikk, og dette kan bidra til usikkerhet ved kommunikasjon.\n\n##### **Sosial og emosjonell utvikling**\n\nBarn og ungdommer med VCFS kan være mer utrygge i sosiale sammenhenger og kan ha behov for skjerming fra større grupper, deler av skolehverdagen. De kan være sårbare for sanseinntrykk og kan lett bli overstimulert i krevende miljøer. Enkelte kan vise tegn på mistrivsel og ha behov for å isolere seg.\n\nBarnehage og skole bør ha et tett samarbeid med foreldre for lettere å kunne avdekke mistrivsel og utrygghet. Barn og ungdom med VCFS er ofte avhengig av trygge voksenpersoner som kan være en støtte ved behov og som kan bidra til at de kan takle utfordringer i hverdagen.\n\n##### **Kartlegging**\n\nKartlegging av språk og kognitiv funksjon kan bidra til riktig forståelse av funksjonsnivå og behov for tilrettelegging. Symptomer som gir mistanke om ADHD/ADD eller autismespekterforstyrrelser bør følges opp med utredning og tiltak.\n\n*Faglig oppdatert 19.03.2020*',
"For eksempel kan de ta kontakt med andre på en måte som kan oppfattes som klossete og upassende (5 ) . Fordi de er glade og positive, kan de let t få en maskotrolle i gruppa . Det er ikke heldig , da det kan innebære de blir møtt med for lave forventninger. Videre vil g ode rollemodeller være viktig, de har lett for å ta etter andres adferd\n\nSosiale ferdigheter må læres og trenes jevnlig hele livet. Hos førskolebarn og elever bør sosial trening være en del av kartlegging og opplæringsplan e n . Start tidlig med samværsregler som handler om hvem en hilser på og hvem en viser nærhet, når det passer og hvor ofte. Alle barn og voksne som er sammen med dem , må minnes på å holde samværsreglene. En må også sørge for at personen med W illiams' syndrom ikke føler seg avvist, men får dekket sine behov for nærhet og trygghet. Å lære om egen kropp, sette egne grenser og respektere andres bør stå på planen gjennom hele livet.\n\nOgså i sosiale medier kan de sosiale kodene være vanskelige å forstå. Av den grunn er det viktig å ha jevnlig f okus på og opplæring i bruk av sosiale medier. Som andre er de glade i likes og ønsker seg mange venner eller følgere, men har ofte dårligere forståelse av hvor grensene går og hva som ligger bak kommunikasjonen . De kan være ukritiske i forhold til hvem de kommer i kontakt med og hva de selv publiserer (6) . Les mer om sosiale medier og nett vett h os [Buf dir o](https://bufdir.no/Bibliotek/Dokumentside/?docId=BUF00003828) g [Redd Barna.](https://www.reddbarna.no/vaart-arbeid/barn-i-norge/nettvett?gclid=EAIaIQobChMIsKuOq5i46AIVBeAYCh0FaQ6cEAAYASAAEgKZ5vD_BwE)\n\n## **Musikk**\n\nPersoner med W illiams ' syndrom er ofte glade i sang og musikk. Det henger sannsynligvis sammen med godt utviklet auditiv persepsjon. De er samtidig ømfintlige for lyd og kan lett bli engstelige ved spesielle lyder (1). De kan likevel tåle ganske høye lyder om de selv er med på å lage dem. Det er fint å bruke musikk som motivasjonsfaktor.\n\n## **Fysisk aktivitet**\n\nBarn med W illiams ' syndrom er forsinket i sin motoriske utvikling, både grov- og finmotorisk. De er også sansemotorisk svake. De aller fleste har behov for oppfølging av fysioterapeut (2). Fysioterapeuten kan også veilede og gi råd til skolen.\n\nPersoner med W illiams' syndrom har behov for å være i daglig fysisk aktivitet. Noen er glad i aktivitet, men å være i en gymsal/idrettshall med mange høye , påtrengende lyder og mye aktivitet kan lett bli for mye. De kan lett bli overstimulert, engstelige og kan ha behov for skjerming. L es mer om motorisk utvikling og fysisk aktivitet under menypunktet om fysioterapi.\n\n## **Tilrettelegging for læring og utvikling**\n\nFor å skape tilstrekkelig trygghet for personer med W illiams ' syndrom er det helt nødvendig med faste rutiner, struktur og forutsigbarhet. Uforutsette endringer og brudd i rutinene kan skape engstelse og usikkerhet . D e er avhengig av faste og trygge voksenpersoner som hjelper dem med å organisere og strukturere dagen . Konsentrasjons- og oppmerksomhetsvansker gjør at de har behov for hjelp til å komme i gang og å holde fokus underveis . Både fysisk miljø og opplæringsmateriell bør være ryddig og oversiktlig, med så få forstyrrelser som mulig både visuelt og auditivt.\n\nS å mye som mulig av undervisningen bør skje gjennom praktiske oppgaver og i naturlige situasjoner. Kunnskap som ikke kan forankres i det praktiske kan lett bli borte.\n\nMange med W illiams' syndrom lærer mest effektivt ved å snakke seg gjennom arbeidsoppgavene eller hendelser. Dette gjelder alt fra matematikkoppgaver til praktiske kunst- og håndverksoppgaver eller til sosial læring. Det er studier som viser at personer med W illiams' syndrom profiterer på korte arbeidsøkter og hyppige pauser . Det har virket positivt med tanke på konsentrasjonsspenn , hukommelse og styrking av innlæring . For litt eldre barn kan det se ut som m odell - læring, det å få observere andre, fungerer godt (1) . Flere forholder seg godt til konsekvente og konkrete regler og avtaler .\n\nFor noen år siden var det vanlig å tenke at personer med Williams ' syndrom ikke kunne lære å lese og skrive, men Frambu til kjenner mange som har lært seg dette i ulik grad. Vansker med visuell persepsjon gjør det utfordrende å lære, huske og gjengi bokstaver og tall. H åndskrift kan være vanskelig og slits omt når en strever med finmotorikk . For de fleste bør derfor s krivetrening begrenses til et minimum. Bruk heller digitale hjelpemidler til skrivetrening. Videre vil tidlig systematisk stimulering av fonetisk bevissthet og vekt på fonetisk lesing anbefales framfor helordslesing. Fonetisk lesing tar i bruk auditive strategier, mens helordslesing handler om å gjenkjenne ordbilder visuelt (3).\n\nLes mer om utviklingshemming og tilrettelegging hos [STATPED](https://www.statped.no/utviklingshemming/) (Statlig spesialpedagogisk tjeneste).\n\n[L es mer på Frambus temasider om muligheter og rettigheter i utdanningen](https://frambu.no/tema/overgangen-til-skole-spesialpedagogiske-rettigheter-og-muligheter/)\n\n| Personer med Williams' syndrom er svært glad i sosial kontakt, men strever ofte med sosial forståelse. Øv på sosial kompetanse. |\n|-------------------------------------------------------------------------------------------------------------------------------------|\n| Språk er en sterk side, men kan også føre til at personen blir overvurdert. |\n| Det er ofte vanskelig å tolke visuelle inntrykk. Derfor er tid og mengde vanskelig. |\n| Oversikt og struktur er nødvendig for at personer med Williams' syndrom skal trives og lære. |\n| Lag en dagsplan med hyppige pauser tilpasset konsentrasjonsspenn og behov fot aktivitet. |\n| Personer med Williams' syndrom lærer best gjennom praktiske oppgaver. |\n| |\n\n*Denne artikkelen ble faglig oppdatert 29. april 2020*\n\n## \n\n### **Hvordan er det å leve med en sjelden diagnose?**\n\nVi har mye nyttig informasjon på temasidene våre. [Du kan lese dem her!](https://frambu.no/temaer) .",
'# Skjema - Utlån av behandlingshjelpemidler\n\nFor å ta i bruk behandlingshjelpemidler og/eller forbruksmateriell må skjemaet «Utlån av behandlingshjelpemidler og utlevering av forbruksmateriell» fylles ut. Skjemaet skal signeres av lege ved helseforetaket, avtalespesialist tilknyttet helseforetaket eller andre helseforetaket har avtale med. Utstyret lånes ut til pasienten så lenge det foreligger et behandlingsbehov.\n\nPåse at felt for ICD-10 hoveddiagnose-kode og inntil 2 bi-diagnose-koder som begrunner behov for utlån av utstyr og forbruksmateriell er fylt ut sammen med begrunnelse for utstyrsvalg. Det skal også påføres om opplæring er gjennomført eller hvem dette er avtalt med.\n\nFerdig utfylt skjema sendes helseforetaket hvor pasienten har adresse i folkeregisteret, se [Landsoversikt](https://behandlingshjelpemidler.no/enhet/) .\n\n**NB!** De fleste helseforetak benytter elektroniske skjema som erstatter dette skjemaet.\n\n### Utlånsskjema\n\n[Nasjonalt\\_skjema-ver-202404031](https://behandlingshjelpemidler.no/wp-content/uploads/2024/04/Nasjonalt_skjema-ver-202404031.docx)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]
# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[32.2851, 14.5990, 8.8281]])
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
dev_ir and test_ir| Metric | dev_ir | test_ir |
|---|---|---|
| dot_accuracy@1 | 0.525 | 0.559 |
| dot_accuracy@5 | 0.887 | 0.89 |
| dot_accuracy@10 | 0.94 | 0.945 |
| dot_precision@1 | 0.525 | 0.559 |
| dot_precision@3 | 0.2683 | 0.2723 |
| dot_precision@5 | 0.1774 | 0.178 |
| dot_precision@10 | 0.094 | 0.0945 |
| dot_recall@1 | 0.525 | 0.559 |
| dot_recall@3 | 0.805 | 0.817 |
| dot_recall@5 | 0.887 | 0.89 |
| dot_recall@10 | 0.94 | 0.945 |
| dot_ndcg@10 | 0.7417 | 0.7604 |
| dot_mrr@10 | 0.6768 | 0.7001 |
| dot_map@100 | 0.679 | 0.7027 |
| query_active_dims | 19.052 | 18.825 |
| query_sparsity_ratio | 0.9998 | 0.9998 |
| corpus_active_dims | 2980.5061 | 2953.7629 |
| corpus_sparsity_ratio | 0.9718 | 0.9721 |
| avg_flops | 11.0001 | 10.9013 |
| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details | <ul><li>min: 5 tokens</li><li>mean: 21.62 tokens</li><li>max: 60 tokens</li></ul> | <ul><li>min: 30 tokens</li><li>mean: 432.35 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 26 tokens</li><li>mean: 393.83 tokens</li><li>max: 512 tokens</li></ul> |
| anchor | positive | negative |
|---|---|---|
| <code>Kva gjer sjukehuset når krefttypen til barnet er så uvanleg at dei ikkje har ein ferdig behandlingsplan?</code> | <code># 9.4. Sjeldne svulster<br><br>I tillegg til de svulstene som her er omtalt, finnes det en rekke andre svulsttyper som forekommer svært sjelden. Dette gjelder dels svulsttyper som er mer eller mindre spesifikke for barnealder, dels mer «voksne» svulster. Felles for disse ekstremt sjeldne svulsttypene er at det ikke finnes spesifikke behandlingsprotokoller for barn, og man må som regel i hvert enkelt tilfelle skreddersy en behandling ut fra histologisk type, barnets alder og egne eller andres erfaringer med lignende svulsttyper.<br><br>Les hele</code> | <code># Pakkeforløp for kreft hos barn<br><br>Barneonkologisk avdeling, i noen tilfeller nevrokirurgisk avdeling, er primært ansvarlig for kontrollopplegget, og kontrollene utføres i samarbeid med de lokale barneavdelinger.<br><br>Ved mistanke om tilbakefall og undersøkelsene bekrefter dette, planlegger barneonkologen etter MDT- møte behandlingsopplegget. Beslutning om behandling tas i samråd med pasient/familie.<br><br># Informasjon og dialog med pasient/pårørende<br><br>Den legen som ser pasienten ved kontrollundersøkelser har ansvar for at familien informeres om undersøkelsesresultater. Ofte deltar kontaktsykepleier i poliklinikken/ved dagposten i denne informasjonen.<br><br># Støttebehandling og sykepleie<br><br>Sykepleier/koordinator bør ha selvstendige konsultasjoner eventuelt i form av spesielle poliklinikkonsultasjoner for å kartlegge pasientens behov for habilitering og familiens psykososiale situasjon.<br><br># Håndtering av tilbakefall<br><br>Ved tilbakefall av kreftsykdom (lokalt eller regionalt residiv, eller fjernmetastaser)...</code> |
| <code>rette opp ryggen til ungdom</code> | <code># Skoliose hos ungdom - operasjon |
{
"loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
"document_regularizer_weight": 3e-05,
"query_regularizer_weight": 5e-05
}
| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details | <ul><li>min: 6 tokens</li><li>mean: 22.07 tokens</li><li>max: 61 tokens</li></ul> | <ul><li>min: 50 tokens</li><li>mean: 440.21 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 27 tokens</li><li>mean: 394.4 tokens</li><li>max: 512 tokens</li></ul> |
| anchor | positive | negative |
|---|---|---|
| <code>koble ting sammen for bedre lyd</code> | <code>](#hva)<br><br>### Hva er hjelpemiddelet?<br><br>Alle høreapparatmodeller har tilbehør som kan benyttes i ulike lyttesituasjoner.<br><br>Tilbehør til høreapparat er fjernkontroller eller mellomledd som du trenger for å koble høreapparatet ditt til andre lydkilder eller hjelpemidler.<br><br>Dette kan være eksterne mikrofoner som kobles til høreapparatet ditt for at du skal høre tale bedre. Det kan også være tilbehør for å koble TV eller radio direkte til høreapparatet.<br><br>Lyttehjelpemidler til TV og radio Hjelpemiddel<br><br>Du kan få egen fjernkontroll som tilbehør hvis du trenger det, for eksempel hvis du har redusert finmotorikk.<br><br>Et tilbehør kan være en telefonstreamer, som kobler mobiltelefonen til høreapparatet. Samtidig har mange nyere høreapparater løsninger for blåtann (bluetooth). Disse kan koble høreapparatet direkte til mobiltelefon, nettbrett eller datamaskin uten bruk av et tilbehør.<br><br>Lyttehjelpemidler for telefon Hjelpemi...</code> | <code>Fra åpen dør til å stange hodet i veggen. Foreldres erfaringer med skole-hjem-samarbeid når barna og de unge har en sjelden diagnose. 2017(3). (Enkeltsstudie).<br>28. Utdanningsdirektoratet. 2024. Samarbeid mellom hjem og skole . (Offentlig nettside).<br>29. Lov om grunnskoleopplæringa og den vidaregåande opplæringa (opplæringslova), (2023). (Offentlig nettside).<br>30. Velferdsetaten NAV. 2019. [Rundskriv til Folketrygdloven kap. 10: Stønad for å kompensere for utgifter til bedring av arbeidsevnen og funksjonsevnen i dagliglivet. § 10-8 Forholdet til ytelser etter annen lovgivning](https://www.pvv.ntnu.no/~thomassk/jus/trygderett/ru...</code> |
| <code>Hvor lang tid tar det for Nav å behandle en klage til Nav-enhet?</code> | <code>Du må ha sendt en søknad som er blitt behandlet for å kunne klage. Du kan ikke klage på muntlig avslag.<br><br>#### Klage på vedtak<br><br>I vedtaket står det hvordan du går fram hvis du skal klage, hvem du skal klage til og klagefrist. Hvis du har spørsmål om vedtaket, kan du kontakte oss .<br><br>Send klage Ettersend dokumentasjon<br><br>#### Anke vedtak<br><br>Hvis du er uenig i svaret på klagen din fra Nav klageinstans, kan du med noen unntak anke vedtaket. Fristen for å anke står i vedtaket.<br><br>Send anke Ettersend dokumentasjon<br><br>Du kan også bruke advokat eller gi fullmakt til en person som klager på dine vegne.<br><br>Klagerettigheter Slik gjør du det<br><br>Saksbehandlingstid...</code> | <code>Leveringstid for hjelpemiddelet kommer i tillegg til saksbehandlingstiden.<br><br>| Saken gjelder | Forventet saksbehandlingstid |<br>|---------------------------------------|--------------------------------|<br>| Søknad om hjelpemiddel til dagligliv | 17 dager |<br>| Søknad om hjelpemiddel til arbeidsliv | 21 dager |<br><br>### Personvern og automatisk saksbehandling<br><br>For å kunne vurdere barnets rett til støtte til briller, må Nav behandle noen personopplysninger om barnet.<br><br>Slik behandler Nav personopplysningene<br><br>Vi behandler personopplysninger om<br><br>- fødselsnummer<br>- navn<br>- alder<br>- bostedsadresse<br>- brillestyrke<br>- tidligere støtte til briller<br><br>Fra optiker får Nav informasjon om barnets fødselsnummer og brillestyrke. Dette trenger vi for å validere navn, alder og om barnet er bosatt på en folkeregistrert adresse. Basert på brillestyrken, regner vi ut hvor mye støtte barnet har rett på. Vi sjekker også at barnet ikke allere...</code> |
| <code>Vi har en gutt på 8 år med stor tannbehandlingsangst og flere hull som må fikses, når kan tannbehandling i narkose vurderes og hva må vi ha med i samtykke og info?</code> | <code>Generell veileder i pediatri kapittel 13.5 og 13.6 (helsebiblioteket.no) . |
{
"loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
"document_regularizer_weight": 3e-05,
"query_regularizer_weight": 5e-05
}
eval_strategy: stepsper_device_train_batch_size: 32per_device_eval_batch_size: 32learning_rate: 2e-05weight_decay: 0.01num_train_epochs: 1.0warmup_ratio: 0.1bf16: Truedataloader_num_workers: 4load_best_model_at_end: Trueddp_find_unused_parameters: Falsebatch_sampler: no_duplicatesrouter_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}overwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 32per_device_eval_batch_size: 32per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.01adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 1.0max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falsebf16: Truefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Truedataloader_num_workers: 4dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Falseddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters:auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | dev_ir_dot_ndcg@10 | test_ir_dot_ndcg@10 |
|---|---|---|---|---|---|
| -1 | -1 | - | - | 0.4908 | - |
| 0.0001 | 1 | 2.8535 | - | - | - |
| 0.0057 | 50 | 1.8611 | - | - | - |
| 0.0113 | 100 | 1.5624 | - | - | - |
| 0.0170 | 150 | 1.2044 | - | - | - |
| 0.0227 | 200 | 1.1151 | - | - | - |
| 0.0283 | 250 | 1.1168 | - | - | - |
| 0.0340 | 300 | 1.0335 | - | - | - |
| 0.0396 | 350 | 1.0167 | - | - | - |
| 0.0453 | 400 | 1.0117 | - | - | - |
| 0.0510 | 450 | 0.9121 | - | - | - |
| 0.0566 | 500 | 0.8883 | - | - | - |
| 0.0623 | 550 | 0.9276 | - | - | - |
| 0.0680 | 600 | 0.8744 | - | - | - |
| 0.0736 | 650 | 0.8781 | - | - | - |
| 0.0793 | 700 | 0.8585 | - | - | - |
| 0.0849 | 750 | 0.8068 | - | - | - |
| 0.0906 | 800 | 0.8329 | - | - | - |
| 0.0963 | 850 | 0.8196 | - | - | - |
| 0.1 | 883 | - | 0.7323 | 0.6322 | - |
| 0.1019 | 900 | 0.7792 | - | - | - |
| 0.1076 | 950 | 0.7313 | - | - | - |
| 0.1133 | 1000 | 0.7721 | - | - | - |
| 0.1189 | 1050 | 0.8113 | - | - | - |
| 0.1246 | 1100 | 0.6899 | - | - | - |
| 0.1302 | 1150 | 0.7229 | - | - | - |
| 0.1359 | 1200 | 0.7072 | - | - | - |
| 0.1416 | 1250 | 0.705 | - | - | - |
| 0.1472 | 1300 | 0.6553 | - | - | - |
| 0.1529 | 1350 | 0.6966 | - | - | - |
| 0.1586 | 1400 | 0.6756 | - | - | - |
| 0.1642 | 1450 | 0.6773 | - | - | - |
| 0.1699 | 1500 | 0.6391 | - | - | - |
| 0.1755 | 1550 | 0.6525 | - | - | - |
| 0.1812 | 1600 | 0.631 | - | - | - |
| 0.1869 | 1650 | 0.6282 | - | - | - |
| 0.1925 | 1700 | 0.6256 | - | - | - |
| 0.1982 | 1750 | 0.623 | - | - | - |
| 0.2 | 1766 | - | 0.5727 | 0.6767 | - |
| 0.2039 | 1800 | 0.6091 | - | - | - |
| 0.2095 | 1850 | 0.6173 | - | - | - |
| 0.2152 | 1900 | 0.6013 | - | - | - |
| 0.2208 | 1950 | 0.5893 | - | - | - |
| 0.2265 | 2000 | 0.5996 | - | - | - |
| 0.2322 | 2050 | 0.5822 | - | - | - |
| 0.2378 | 2100 | 0.5903 | - | - | - |
| 0.2435 | 2150 | 0.5523 | - | - | - |
| 0.2492 | 2200 | 0.5332 | - | - | - |
| 0.2548 | 2250 | 0.6167 | - | - | - |
| 0.2605 | 2300 | 0.5374 | - | - | - |
| 0.2661 | 2350 | 0.5359 | - | - | - |
| 0.2718 | 2400 | 0.5671 | - | - | - |
| 0.2775 | 2450 | 0.5471 | - | - | - |
| 0.2831 | 2500 | 0.5674 | - | - | - |
| 0.2888 | 2550 | 0.5316 | - | - | - |
| 0.2945 | 2600 | 0.5354 | - | - | - |
| 0.3 | 2649 | - | 0.4851 | 0.6846 | - |
| 0.3001 | 2650 | 0.5231 | - | - | - |
| 0.3058 | 2700 | 0.5088 | - | - | - |
| 0.3114 | 2750 | 0.5437 | - | - | - |
| 0.3171 | 2800 | 0.4926 | - | - | - |
| 0.3228 | 2850 | 0.546 | - | - | - |
| 0.3284 | 2900 | 0.5026 | - | - | - |
| 0.3341 | 2950 | 0.522 | - | - | - |
| 0.3398 | 3000 | 0.4814 | - | - | - |
| 0.3454 | 3050 | 0.4744 | - | - | - |
| 0.3511 | 3100 | 0.4486 | - | - | - |
| 0.3567 | 3150 | 0.5311 | - | - | - |
| 0.3624 | 3200 | 0.4877 | - | - | - |
| 0.3681 | 3250 | 0.4779 | - | - | - |
| 0.3737 | 3300 | 0.4514 | - | - | - |
| 0.3794 | 3350 | 0.4602 | - | - | - |
| 0.3851 | 3400 | 0.4805 | - | - | - |
| 0.3907 | 3450 | 0.4727 | - | - | - |
| 0.3964 | 3500 | 0.4654 | - | - | - |
| 0.4 | 3532 | - | 0.4489 | 0.6974 | - |
| 0.4020 | 3550 | 0.5019 | - | - | - |
| 0.4077 | 3600 | 0.4648 | - | - | - |
| 0.4134 | 3650 | 0.4861 | - | - | - |
| 0.4190 | 3700 | 0.4561 | - | - | - |
| 0.4247 | 3750 | 0.4684 | - | - | - |
| 0.4304 | 3800 | 0.4837 | - | - | - |
| 0.4360 | 3850 | 0.47 | - | - | - |
| 0.4417 | 3900 | 0.4549 | - | - | - |
| 0.4473 | 3950 | 0.4472 | - | - | - |
| 0.4530 | 4000 | 0.4337 | - | - | - |
| 0.4587 | 4050 | 0.4291 | - | - | - |
| 0.4643 | 4100 | 0.4484 | - | - | - |
| 0.4700 | 4150 | 0.4316 | - | - | - |
| 0.4757 | 4200 | 0.4183 | - | - | - |
| 0.4813 | 4250 | 0.4648 | - | - | - |
| 0.4870 | 4300 | 0.4187 | - | - | - |
| 0.4926 | 4350 | 0.413 | - | - | - |
| 0.4983 | 4400 | 0.4048 | - | - | - |
| 0.5 | 4415 | - | 0.3818 | 0.7165 | - |
| 0.5040 | 4450 | 0.4282 | - | - | - |
| 0.5096 | 4500 | 0.4274 | - | - | - |
| 0.5153 | 4550 | 0.4248 | - | - | - |
| 0.5210 | 4600 | 0.4044 | - | - | - |
| 0.5266 | 4650 | 0.4285 | - | - | - |
| 0.5323 | 4700 | 0.4612 | - | - | - |
| 0.5379 | 4750 | 0.4407 | - | - | - |
| 0.5436 | 4800 | 0.4106 | - | - | - |
| 0.5493 | 4850 | 0.4123 | - | - | - |
| 0.5549 | 4900 | 0.4073 | - | - | - |
| 0.5606 | 4950 | 0.4057 | - | - | - |
| 0.5663 | 5000 | 0.426 | - | - | - |
| 0.5719 | 5050 | 0.386 | - | - | - |
| 0.5776 | 5100 | 0.3908 | - | - | - |
| 0.5832 | 5150 | 0.3871 | - | - | - |
| 0.5889 | 5200 | 0.3998 | - | - | - |
| 0.5946 | 5250 | 0.3786 | - | - | - |
| 0.6 | 5298 | - | 0.3497 | 0.7248 | - |
| 0.6002 | 5300 | 0.3731 | - | - | - |
| 0.6059 | 5350 | 0.4316 | - | - | - |
| 0.6116 | 5400 | 0.4254 | - | - | - |
| 0.6172 | 5450 | 0.4093 | - | - | - |
| 0.6229 | 5500 | 0.3797 | - | - | - |
| 0.6285 | 5550 | 0.3713 | - | - | - |
| 0.6342 | 5600 | 0.3881 | - | - | - |
| 0.6399 | 5650 | 0.386 | - | - | - |
| 0.6455 | 5700 | 0.4065 | - | - | - |
| 0.6512 | 5750 | 0.3647 | - | - | - |
| 0.6569 | 5800 | 0.3914 | - | - | - |
| 0.6625 | 5850 | 0.3991 | - | - | - |
| 0.6682 | 5900 | 0.3549 | - | - | - |
| 0.6738 | 5950 | 0.3859 | - | - | - |
| 0.6795 | 6000 | 0.3478 | - | - | - |
| 0.6852 | 6050 | 0.3658 | - | - | - |
| 0.6908 | 6100 | 0.3526 | - | - | - |
| 0.6965 | 6150 | 0.3827 | - | - | - |
| 0.7 | 6181 | - | 0.3434 | 0.7302 | - |
| 0.7022 | 6200 | 0.3691 | - | - | - |
| 0.7078 | 6250 | 0.3757 | - | - | - |
| 0.7135 | 6300 | 0.3555 | - | - | - |
| 0.7191 | 6350 | 0.3481 | - | - | - |
| 0.7248 | 6400 | 0.3437 | - | - | - |
| 0.7305 | 6450 | 0.3718 | - | - | - |
| 0.7361 | 6500 | 0.3847 | - | - | - |
| 0.7418 | 6550 | 0.349 | - | - | - |
| 0.7475 | 6600 | 0.3797 | - | - | - |
| 0.7531 | 6650 | 0.3572 | - | - | - |
| 0.7588 | 6700 | 0.3807 | - | - | - |
| 0.7644 | 6750 | 0.3405 | - | - | - |
| 0.7701 | 6800 | 0.3579 | - | - | - |
| 0.7758 | 6850 | 0.3506 | - | - | - |
| 0.7814 | 6900 | 0.3467 | - | - | - |
| 0.7871 | 6950 | 0.3896 | - | - | - |
| 0.7928 | 7000 | 0.3286 | - | - | - |
| 0.7984 | 7050 | 0.3821 | - | - | - |
| 0.8 | 7064 | - | 0.3268 | 0.7346 | - |
| 0.8041 | 7100 | 0.3665 | - | - | - |
| 0.8097 | 7150 | 0.336 | - | - | - |
| 0.8154 | 7200 | 0.3841 | - | - | - |
| 0.8211 | 7250 | 0.3408 | - | - | - |
| 0.8267 | 7300 | 0.3613 | - | - | - |
| 0.8324 | 7350 | 0.3621 | - | - | - |
| 0.8381 | 7400 | 0.3255 | - | - | - |
| 0.8437 | 7450 | 0.3565 | - | - | - |
| 0.8494 | 7500 | 0.3402 | - | - | - |
| 0.8550 | 7550 | 0.3265 | - | - | - |
| 0.8607 | 7600 | 0.361 | - | - | - |
| 0.8664 | 7650 | 0.379 | - | - | - |
| 0.8720 | 7700 | 0.3636 | - | - | - |
| 0.8777 | 7750 | 0.3337 | - | - | - |
| 0.8834 | 7800 | 0.3177 | - | - | - |
| 0.8890 | 7850 | 0.3172 | - | - | - |
| 0.8947 | 7900 | 0.3215 | - | - | - |
| 0.9 | 7947 | - | 0.3021 | 0.7324 | - |
| 0.9003 | 7950 | 0.3324 | - | - | - |
| 0.9060 | 8000 | 0.3356 | - | - | - |
| 0.9117 | 8050 | 0.3219 | - | - | - |
| 0.9173 | 8100 | 0.3285 | - | - | - |
| 0.9230 | 8150 | 0.3599 | - | - | - |
| 0.9287 | 8200 | 0.3239 | - | - | - |
| 0.9343 | 8250 | 0.3051 | - | - | - |
| 0.9400 | 8300 | 0.3467 | - | - | - |
| 0.9456 | 8350 | 0.3461 | - | - | - |
| 0.9513 | 8400 | 0.3199 | - | - | - |
| 0.9570 | 8450 | 0.342 | - | - | - |
| 0.9626 | 8500 | 0.337 | - | - | - |
| 0.9683 | 8550 | 0.3341 | - | - | - |
| 0.9740 | 8600 | 0.3562 | - | - | - |
| 0.9796 | 8650 | 0.3095 | - | - | - |
| 0.9853 | 8700 | 0.3509 | - | - | - |
| 0.9909 | 8750 | 0.342 | - | - | - |
| 0.9966 | 8800 | 0.3235 | - | - | - |
| 1.0 | 8830 | - | 0.2967 | 0.7417 | - |
| -1 | -1 | - | - | 0.7417 | 0.7604 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{formal2022distillationhardnegativesampling,
title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
year={2022},
eprint={2205.04733},
archivePrefix={arXiv},
primaryClass={cs.IR},
url={https://arxiv.org/abs/2205.04733},
}
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@article{paria2020minimizing,
title={Minimizing flops to learn efficient sparse representations},
author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
journal={arXiv preprint arXiv:2004.05665},
year={2020}
}
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->