sanolm-v1

SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small on the nepali_qa_9k, ecommerce, cross_lingual, sanoir_general and ne_wiki_qa datasets. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-small <!-- at revision 614241f622f53c4eeff9890bdc4f31cfecc418b3 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Datasets:
  • nepali_qa_9k
  • ecommerce
  • cross_lingual
  • sanoir_general
  • ne_wiki_qa
• Languages: ne, en

<!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 384, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("jangedoo/sanolm-v1")
# Run inference
queries = [
    'yo printer haru nepal ma kati samma shipping time lagcha ra delivery charge kati ho?',
]
documents = [
    'The Canon PIXMA TS6420 and HP Envy 6055e are both popular all-in-one printers for home offices. The Canon offers better photo print quality, while the HP has a slightly lower cost per page for text documents. Both support wireless printing and are available in Nepal, but the HP Envy often comes with a longer warranty period from local dealers. For a budget-friendly option with good overall performance, the HP Envy 6055e is a strong choice in Kathmandu.',
    'The Canon PIXMA TS6420 has a 5-color individual ink system for vibrant photos, while the HP Envy 6055e uses a 2-cartridge system. Both printers have a 100-sheet input tray and support borderless printing up to 5x7 inches. The Canon model is slightly larger but offers a dedicated photo tray for glossy paper.',
    'A desk organizer can help you keep your workspace tidy. Many Nepali users prefer wooden or metal organizers with multiple compartments for pens, papers, and accessories. Prices for these organizers range from NPR 800 to NPR 3,000 depending on the material and size.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 384] [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.4183, 0.1906, 0.1803]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Datasets: multi_lang_news_ir, en_news_ir, ne_news_ir and nepali_qa_9k
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "query_prompt_name": "query",
      "corpus_prompt_name": "document"
  }
  

Translation

• Dataset: translation
• Evaluated with <code>TranslationEvaluator</code>

Semantic Similarity

• Datasets: stsb_en and stsb_ne
• Evaluated with <code>EmbeddingSimilarityEvaluator</code>

Information Retrieval

• Datasets: nepali_query_passage_10k, nepali_ecomm and sanoir_general
• Evaluated with <code>InformationRetrievalEvaluator</code> with these parameters:

  {
      "query_prompt_name": "query",
      "corpus_prompt_name": "document"
  }
  

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Datasets

<details><summary>nepali_qa_9k</summary>

nepali_qa_9k

• Dataset: nepali_qa_9k at 33f9def
• Size: 6,480 training samples
• Columns: <code>question</code> and <code>answer</code>
• Approximate statistics based on the first 100 samples:

  	question	answer
  type	string	string
  modality	text	text
  details	<ul><li>min: 10 tokens</li><li>mean: 20.6 tokens</li><li>max: 36 tokens</li></ul>	<ul><li>min: 24 tokens</li><li>mean: 38.75 tokens</li><li>max: 60 tokens</li></ul>

• Samples:

  question	answer
  <code>मेरो ल्यापटप धेरै ढिलो (slow) भइरहेको छ, के गर्ने?</code>	<code>ल्यापटपको प्रदर्शन सुधार गर्न, अनावश्यक सफ्टवेयर हटाउनुहोस्, RAM र प्रोसेसरको प्रयोग जाँच गर्नुहोस्, र सिस्टमलाई अपडेट गर्नुहोस्।</code>
  <code>मलाई अचानक ज्वरो आएको छ, मैले के गर्नुपर्छ?</code>	<code>यदि तपाईंलाई ज्वरो आएको छ भने, आराम गर्नुहोस्, पर्याप्त पानी पिउनुहोस्, र यदि ज्वरो धेरै छ वा असहजता महसुस हुन्छ भने तुरुन्त डाक्टरसँग परामर्श लिनुहोस्।</code>
  <code>मेरो मोबाइलको डाटा ब्याकअप कसरी गर्न सकिन्छ? विभिन्न विकल्पहरू के-के छन्?</code>	<code>तपाईंले आफ्नो मोबाइल सेटिङ्समा गएर क्लाउड सर्भिस (जस्तै Google Drive वा iCloud) प्रयोग गरेर वा विशेष ब्याकअप एपहरू मार्फत डाटा ब्याकअप गर्न सक्नुहुन्छ।</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details> <details><summary>ecommerce</summary>

ecommerce

• Dataset: ecommerce at 4b7dd81
• Size: 1,367 training samples
• Columns: <code>query</code>, <code>document</code>, <code>negative1</code>, <code>negative2</code>, and <code>negative3</code>
• Approximate statistics based on the first 100 samples:

  	query	document	negative1	negative2	negative3
  type	string	string	string	string	string
  modality	text	text	text	text	text
  details	<ul><li>min: 10 tokens</li><li>mean: 20.68 tokens</li><li>max: 42 tokens</li></ul>	<ul><li>min: 61 tokens</li><li>mean: 103.96 tokens</li><li>max: 179 tokens</li></ul>	<ul><li>min: 33 tokens</li><li>mean: 70.3 tokens</li><li>max: 102 tokens</li></ul>	<ul><li>min: 28 tokens</li><li>mean: 62.54 tokens</li><li>max: 94 tokens</li></ul>	<ul><li>min: 25 tokens</li><li>mean: 57.67 tokens</li><li>max: 79 tokens</li></ul>

• Samples:

  query	document	negative1	negative2	negative3
  <code>Samsung Galaxy S24 Ultra price in Nepal</code>	<code>The Samsung Galaxy S24 Ultra is now available in Nepal for NPR 1,59,999. It features a 200MP camera, S Pen support, and a powerful Snapdragon 8 Gen 3 processor. The phone comes with 12GB RAM and 256GB storage, offering a stunning 6.8-inch Dynamic AMOLED 2X display.</code>	<code>The Samsung Galaxy S24 FE is a more affordable option at NPR 75,999, with a 50MP camera and Exynos 2400 chipset. It offers 8GB RAM and 128GB storage, making it a good mid-range choice. The display is a 6.7-inch Super AMOLED with 120Hz refresh rate.</code>	<code>The Samsung Galaxy Tab S9 Ultra is a high-end tablet priced at NPR 1,49,999. It features a 14.6-inch Dynamic AMOLED 2X display and comes with the S Pen included. This tablet is ideal for creative professionals and students.</code>	<code>The Samsung 65-inch 4K Smart TV is available for NPR 1,20,000. It supports HDR10+ and has built-in Alexa. This TV offers vibrant picture quality and is perfect for home entertainment.</code>
  <code>sasto tel kun ramro fortuna ki sathi cooking oil price compare gara na</code>	<code>When comparing Fortune versus Sathi refined cooking oils, Fortune 1-liter bottle is priced at NPR 210 while Sathi's same size costs NPR 195, making Sathi a more budget-friendly option for daily use. Both are suitable for deep frying and regular cooking, but Fortune is often preferred for its lighter texture and neutral flavor. If you are looking to save on your monthly grocery bill, switching to Sathi oil can save you around NPR 15 per liter without sacrificing quality.</code>	<code>Fortune basmati rice 5kg is now available at NPR 850, which is a good deal compared to other premium brands like Kohinoor. Many customers praise its long grains and aromatic flavor, perfect for biryani and pulao. It is currently on a 10% discount for new users on our store.</code>	<code>Wai Wai noodles are a popular instant snack in Nepal, available in curry, chicken, and vegetable flavors. A single packet costs NPR 15, and bulk packs of 12 are priced at NPR 170. They are quick to prepare and loved by students and travelers.</code>	<code>Our store now offers free delivery on all orders above NPR 1000 within Kathmandu Valley. You can also earn reward points on every purchase of groceries and household items. Check out the new arrivals section for exclusive discounts this week.</code>
  <code>CDC Grade 10 Nepali textbook quality kasto cha? review ra ratings hernu hai</code>	<code>For students using the CDC Grade 10 Nepali textbook, our guide shows how to annotate and highlight key poems like 'Mero Desh' for better exam preparation. We recommend Pilot V7 pens for clean underlining and Stabile Boss highlighters in yellow, available at NPR 85 and NPR 120 per piece at Sajha Bookstore. Users report that using sticky tabs for grammar sections improves revision speed by 30%, making this a top-rated method among Kathmandu school teachers.</code>	<code>Our guide for Oxford Advanced Learner's Dictionary explains how to use the companion app to check word pronunciations and build vocabulary lists. This digital tool costs NPR 1,500 for a one-year subscription and syncs across phone and laptop. Students in Pokhara have praised its clarity for improving their English speaking skills.</code>	<code>This blog post reviews the top five ballpoint pens under NPR 200, including Linc Pentonic and Hauser XO, focusing on smooth writing and durability. We mention that the Hauser XO offers a 1.2mm tip for bold strokes, ideal for signatures. However, no Nepali textbook usage or teacher feedback is included.</code>	<code>Today's special offer: Buy three A4 notebooks from Classic Notebooks for just NPR 350 and get a free Bic pen set. Available only at our Jawalakhel outlet while stocks last. Visit our store for stationery deals on school supplies.</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": "hard_negatives",
      "hardness_strength": 5
  }
  

</details> <details><summary>cross_lingual</summary>

cross_lingual

• Dataset: cross_lingual at 7efcacf
• Size: 8,000 training samples
• Columns: <code>source_text</code> and <code>text</code>
• Approximate statistics based on the first 100 samples:

  	source_text	text
  type	string	string
  modality	text	text
  details	<ul><li>min: 19 tokens</li><li>mean: 39.83 tokens</li><li>max: 71 tokens</li></ul>	<ul><li>min: 12 tokens</li><li>mean: 44.38 tokens</li><li>max: 111 tokens</li></ul>

• Samples:

  source_text	text
  <code>The Supreme Court of Nepal will deliver its verdict on the controversial 52 appointments to constitutional bodies made through amended ordinances, amidst multiple legal challenges.</code>	<code>Nepal ko Supreme Court le aba controversial 52 appointments ko barema verdict dine wala cha, jo constitutional bodies ma amended ordinances through bhako thiyo. Tara tyo bichama dherai legal challenges pani aairako cha.</code>
  <code>सांसद ज्ञानेन्द्रबहादुर कार्कीले नेपालको विकास मोडलमा छलफल गर्न आवश्यक रहेको र छिमेकी देशहरूको विकास अध्ययन गर्नुपर्ने बताएका छन्।</code>	<code>सांसद ज्ञानेन्द्रबहादुर कार्की कहलन कि नेपाल के विकास मोडल प छलफल जरूरी बा, आ पड़ोसी देसन के विकास के अध्ययन करल जाय के चाही।</code>
  <code>कालीमाटी तरकारी बजारमा आज काउली, गोलभेँडा र भिन्डी लगायतका तरकारीको थोक मूल्य घटेको छ भने अन्य तरकारीहरूका मूल्य स्थिर रहेका छन्।</code>	<code>Kalimati tarkari bazar ma aaj kauli, golbhenda ra bhindi lagayat ka tarkari ko wholesale price ghatya cha bhane aru tarkari haru ka price sthir raheka chan.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details> <details><summary>sanoir_general</summary>

sanoir_general

• Dataset: sanoir_general at 7e53250
• Size: 4,977 training samples
• Columns: <code>query</code>, <code>positive</code>, <code>negative_1</code>, <code>negative_2</code>, <code>negative_3</code>, and <code>negative_4</code>
• Approximate statistics based on the first 100 samples:

  	query	positive	negative_1	negative_2	negative_3	negative_4
  type	string	string	string	string	string	string
  modality	text	text	text	text	text	text
  details	<ul><li>min: 12 tokens</li><li>mean: 34.71 tokens</li><li>max: 98 tokens</li></ul>	<ul><li>min: 17 tokens</li><li>mean: 81.83 tokens</li><li>max: 130 tokens</li></ul>	<ul><li>min: 11 tokens</li><li>mean: 64.88 tokens</li><li>max: 113 tokens</li></ul>	<ul><li>min: 13 tokens</li><li>mean: 57.9 tokens</li><li>max: 102 tokens</li></ul>	<ul><li>min: 8 tokens</li><li>mean: 54.97 tokens</li><li>max: 111 tokens</li></ul>	<ul><li>min: 9 tokens</li><li>mean: 54.83 tokens</li><li>max: 110 tokens</li></ul>

• Samples:

  query	positive	negative_1	negative_2	negative_3	negative_4
  <code>Is it better for Nepal to switch completely to organic farming instead of using chemical fertilizers?</code>	<code>के पूर्ण रूपमा जैविक खेती (Organic Farming) अपनाउनु नै नेपालको कृषि भविष्यका लागि उत्तम विकल्प हो? हो, पूर्ण जैविक खेती अपनाउनु नै सबैभन्दा उत्तम विकल्प हो। रासायनिक मल र कृत्रिम कीटनाशकको प्रयोगले माटोको प्राकृतिक उर्वराशक्ति नष्ट गरिरहेको छ। जैविक खेतीले माटोको जीवसत्त्वलाई जोगाउँछ, वातावरणलाई प्रदूषणमुक्त राख्छ र उपभोक्तालाई स्वस्थ खाद्यान्न उपलब्ध गराउँछ। दीर्घकालीन रूपमा यो पद्धतिले माटोको स्वास्थ्य र कृषकको आम्दानी दुवैलाई सुनिश्चित गर्दछ।</code>	<code>नेपालका साना किसानहरूका लागि रासायनिक मलको प्रयोग पूर्णतया बन्द गर्नु व्यावहारिक छैन। यसले उत्पादनमा तत्काल कमी ल्याउन सक्छ। त्यसैले, रासायनिक मलको मात्रा बिस्तारै घटाउँदै लैजानुपर्छ र प्राङ्गारिक मलको प्रयोगलाई प्रोत्साहन गर्ने नीति ल्याउनुपर्छ।</code>	<code>जैविक खेती गर्दा माटोको गुणस्तर दीर्घकालीन रूपमा सुध्रिन्छ र हानिकारक विषादीको प्रयोग हुँदैन। तर, यसका लागि आवश्यक पर्ने श्रम र समय बढी लाग्ने भएकाले व्यावसायिक खेती गर्ने ठूला कृषकहरूका लागि यो चुनौतीपूर्ण हुन सक्छ।</code>	<code>सरकारले कृषि क्षेत्रमा अनुदान दिँदा केवल रासायनिक मलमा मात्र सीमित नभई जैविक मल र कीटनाशक उत्पादन गर्ने उद्योगहरूलाई पनि प्राथमिकता दिनुपर्छ। यसले गर्दा कृषकहरूले सस्तो दरमा प्राङ्गारिक सामग्री प्राप्त गर्न सक्छन्।</code>	<code>हिमाली भेगका किसानहरूले आफ्नो उत्पादन बढाउन रासायनिक मलको सट्टा स्थानीय रूपमा उपलब्ध हुने कम्पोस्ट मल र गोबर मलको प्रयोगमा बढी ध्यान दिनुपर्छ। यसले गर्दा माटोको उत्पादकत्व बढ्नेछ।</code>
  <code>मुस्ताङ जाने कच्ची बाटो हिउँदमा बर्खाको तुलनामा सुगम हुन्छ कि भन्ने claim लाई support गर्ने forum answer खोज्दैछु, जहाँ landslide र river obstruction कम हुँदा safe travel months अक्टोबरदेखि मार्चसम्म भनेर local guide को consensus छ।</code>	<code>मुस्ताङ जाने कच्ची बाटो हिउँदमा बर्खाको तुलनामा धेरै सुगम हुन्छ किनभने बर्खामा भासिने र खोलामा बगेर आउने पहिरोले मार्ग अवरुद्ध गर्छ भने हिउँदमा जमेको हिउँले तल्लो भूभाग स्थिर राख्छ र गाडी चलाउन मिल्ने अवस्था बन्छ। स्थानीय ट्रेकिङ गाइडहरू पनि अक्टोबरदेखि मार्चसम्मको यात्रालाई सुरक्षित मान्छन्।</code>	<code>हिउँदमा मुस्ताङ जाने बाटो बर्खाको भन्दा सजिलो हुन्छ किनभने त्यहाँको हावा सफा हुन्छ र पर्यटक कम हुन्छन्। तर यो भनेको मात्र मौसमको अनुभव हो, बाटोको भौतिक अवस्था भने सधैं उस्तै रहन्छ।</code>	<code>मुस्ताङको लो मन्थाङबाट जोमसोमसम्मको पैदल मार्ग हिउँदमा बर्खाको तुलनामा बढी जोखिमपूर्ण हुन्छ किनभने त्यहाँ हिउँले मार्ग ढाक्छ र स्थानीय भने यो सिजनमा यात्रा नगर्न सल्लाह दिन्छन्।</code>	<code>मुस्ताङ जाने प्रमुख सडक मार्ग बेनीबाट कागबेनी हुँदै अगाडि जान्छ। बर्खामा खोला बग्ने भएकाले सवारी चलाउन गाह्रो हुन्छ तर हिउँदमा पनि त्यही मार्ग प्रयोग हुन्छ। यसले मौसम अनुसार मर्मत आवश्यक पर्छ।</code>	<code>डोल्पा जिल्लाको दुर्गम भेगमा हिउँदमा बाटो बर्खाको भन्दा बढी सुगम हुन्छ किनभने वर्षाका कारण खसेका ढुङ्गा हटिसकेका हुन्छन् र जनजागरण कार्यक्रमले बाटो सफा राख्छ।</code>
  <code>What is the impact of nitrogen fertilizer usage on maize yields in the Terai region of Nepal?</code>	<code>नेपालको तराई क्षेत्रमा मकैको उत्पादनमा सुधार ल्याउनका लागि नाइट्रोजनको सही मात्रामा प्रयोग महत्त्वपूर्ण मानिन्छ। कृषि विज्ञहरूका अनुसार, माटो परीक्षण गरी तोकिएको मात्रामा मात्र युरिया मल प्रयोग गर्दा मकैको दानाको गुणस्तर र उत्पादन दुवैमा उल्लेख्य वृद्धि हुने गरेको छ। यसले माटोको प्राकृतिक सन्तुलन बिगार्नबाट पनि जोगाउँछ।</code>	<code>नेपालको पहाडी भेगमा धान खेती गर्दासायनिक मलको प्रयोगले उत्पादनमा वृद्धि ल्याएको देखिन्छ। अनुसन्धानले देखाएको छ कि नाइट्रोजनयुक्त मलको उचित प्रयोगले माटोको उर्वरशक्ति कायम राख्न मद्दत गर्छ, जसले गर्दा किसानहरूले कम लागतमा बढी अन्न उत्पादन गर्न सक्छन्।</code>	<code>तराईका क्षेत्रमा गहुँ उत्पादन बढाउन सिँचाइ प्रविधिमा सुधार गर्नु आवश्यक छ। हालैका अध्ययनहरूले देखाए अनुसार आधुनिक सिँचाइ प्रणाली र उन्नत बीउको संयोजनले माटोको गुणस्तर सुधार्नुका साथै उत्पादनको दरलाई पनि स्थिर राख्न सहयोग पुर्‍याउँछ।</code>	<code>जलवायु परिवर्तनका कारण नेपालको कृषि क्षेत्रमा ठूलो चुनौती थपिएको छ। बढ्दो तापक्रम र अनियमित वर्षाले गर्दा परम्परागत बालीनालीको उत्पादनमा ह्रास आउनुका साथै माटोको जैविक संरचनामा पनि नकारात्मक प्रभाव परिरहेको छ।</code>	<code>जैविक खेती (Organic farming) को विस्तारले नेपालको ग्रामीण अर्थतन्त्रलाई बलियो बनाउन सक्छ। रासायनिक विषादीको सट्टा प्राङ्गारिक मलको प्रयोग गर्दा माटोको संरचना मात्र सुध्रिँदैन, यसले उपभोक्ताको स्वास्थ्यलाई पनि प्रत्यक्ष फाइदा पुर्‍याउँछ।</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details> <details><summary>ne_wiki_qa</summary>

ne_wiki_qa

• Dataset: ne_wiki_qa at 65fb7ed
• Size: 77,796 training samples
• Columns: <code>query</code> and <code>doc</code>
• Approximate statistics based on the first 100 samples:

  	query	doc
  type	string	string
  modality	text	text
  details	<ul><li>min: 8 tokens</li><li>mean: 11.78 tokens</li><li>max: 21 tokens</li></ul>	<ul><li>min: 60 tokens</li><li>mean: 160.63 tokens</li><li>max: 505 tokens</li></ul>

• Samples:

  query	doc
  <code>हुम्ला जिल्लाको नाम कसरी रहन गयो?}</code>	<code>नामाकरण<br>जिल्लामा अवस्थित प्रसिद्ध तीर्थस्थल खार्पुनाथमा प्राचीनकालमा कोटी होम लगाएको हुनाले यहीं होम लगाएको अर्थात होम+ला बाट अपभ्रंस भई हुम्ला भएको भन्ने भनाई रहेको छ भने अर्का थरीको भनाई अनुसार हुल्म लङरिंग अर्थात साँगुरो नदीबाट अपभं्रस भई हुम्ला भएको हो भन्ने भनाई रहेको छ । यसका अतिरिक्त हुण जातिहरुको यहीं बाटो भएर ल्हा भञ्ज्याङ्ग काटेर तिब्ब्त क्षेत्रमा प्रवेश गरेको हुनाले हुण र ल्हाबाट हुम्ला भएको भन्ने पनि भनाई रहेको छ ।</code>
  <code>Humla name origin Kharpunath Koti Hom</code>	<code>नामाकरण<br>जिल्लामा अवस्थित प्रसिद्ध तीर्थस्थल खार्पुनाथमा प्राचीनकालमा कोटी होम लगाएको हुनाले यहीं होम लगाएको अर्थात होम+ला बाट अपभ्रंस भई हुम्ला भएको भन्ने भनाई रहेको छ भने अर्का थरीको भनाई अनुसार हुल्म लङरिंग अर्थात साँगुरो नदीबाट अपभं्रस भई हुम्ला भएको हो भन्ने भनाई रहेको छ । यसका अतिरिक्त हुण जातिहरुको यहीं बाटो भएर ल्हा भञ्ज्याङ्ग काटेर तिब्ब्त क्षेत्रमा प्रवेश गरेको हुनाले हुण र ल्हाबाट हुम्ला भएको भन्ने पनि भनाई रहेको छ ।</code>
  <code>Nepal sector-wise GDP contribution agriculture service industry</code>	<code>कृषिले जनसङ्ख्याको ७६% धानेको छ र कुल ग्राह्यस्थ उत्पादनको ३९% योगदान गरेको छ भने सेवाले ३९% र उद्योगले २१% गरेको छ। देशको उत्तरी दुई-तिहाई भागमा रहेका पहाडी र हिमाली भूभागले बाटोघाटो र अन्य संरचना निर्माण गर्न कठिन र महङ्गो बनाएको छ। सन् २००३ सम्ममा कालोपत्रे-सडकहरूको कुल लम्बाई ८,५०० किमि भन्दा केही बढी र दक्षिणमा रहेको रेल्वे-लाईनको कुल लम्बाई ५९ किमि मात्र छ। ४८ वटा धावनमार्ग र त्यसमध्ये १० वटामा कालोपत्र भएकाले हवाईमार्गको भने स्थिति राम्रो छ। यहाँ बढीमा प्रति १९ व्यक्तिका लागि १ टेलिफोन सुविधा उपल्ब्ध छ; तारजडित सेवा देशभर अपुग छ तर सहरहरू र जिल्ला सदरमुकामहरूमा बढी केन्द्रित छ; सेवामा जनताको पहुँच बढेको र सस्तो हुँदै गएकाले मोबाइल (वा तार-रहित) सेवाको स्थिति भने देशभर राम्रो छ। सन् २००५मा १,७५,००० इन्टरनेट जडानहरू (connections) थिए, तर "सङ्कटकाल" लागू भएपश्चात केही समय सेवा अवरूद्ध भएको थियो। केही अन्योल पछि नेपालको दोस्रो बृहत जनआन्दोलनले राजाको अधिकार समाप्त गरे पश्चात भने सवै इन्टरनेट सेवाहरू बिना रोकटोक सुचारू भएका छन्।</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details>

Evaluation Datasets

<details><summary>nepali_qa_9k</summary>

nepali_qa_9k

• Dataset: nepali_qa_9k at 33f9def
• Size: 720 evaluation samples
• Columns: <code>question</code> and <code>answer</code>
• Approximate statistics based on the first 100 samples:

  	question	answer
  type	string	string
  modality	text	text
  details	<ul><li>min: 12 tokens</li><li>mean: 20.52 tokens</li><li>max: 32 tokens</li></ul>	<ul><li>min: 19 tokens</li><li>mean: 39.32 tokens</li><li>max: 71 tokens</li></ul>

• Samples:

  question	answer
  <code>मले गाडी चलाउँदा ट्राफिक नियम उल्लंघन गरेर जरिवाना पाएँ, त्यसलाई कसरी तिर्न सक्छु?</code>	<code>तपाईंले सरकारी वेबसाइट वा आधिकारिक यातायात कार्यालयको पोर्टल मार्फत आफ्नो ट्राफिक जरिवानाको विवरण जाँच गर्न र तिर्न सक्नुहुन्छ।</code>
  <code>मेरो बच्चाको लागि COVID-19 को खोप कहिले लगाउनु पर्छ? के यो अनिवार्य छ?</code>	<code>बच्चाहरूको लागि खोपको समय बाल स्वास्थ्य विभागको नवीनतम निर्देशन अनुसार जाँच गर्नुपर्छ। कृपया स्थानीय स्वास्थ्य कार्यालय वा आधिकारिक सरकारी वेबसाइटमा हालको खोप कार्यक्रमको जानकारी लिनुहोस्।</code>
  <code>जन्मदर्ता गराउनका लागि आवश्यक कागजातहरू के-के हुन्?</code>	<code>जन्मदर्ताका लागि सामान्यतया जन्मदर्ताको फारम, अभिभावकको नागरिकता/पहचान पत्रको प्रतिलिपि, र जन्मस्थान तथा जन्ममिति प्रमाणित गर्ने अन्य आवश्यक कागजातहरू चाहिन्छन्।</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details> <details><summary>ecommerce</summary>

ecommerce

• Dataset: ecommerce at 4b7dd81
• Size: 198 evaluation samples
• Columns: <code>query</code>, <code>document</code>, <code>negative1</code>, <code>negative2</code>, and <code>negative3</code>
• Approximate statistics based on the first 100 samples:

  	query	document	negative1	negative2	negative3
  type	string	string	string	string	string
  modality	text	text	text	text	text
  details	<ul><li>min: 8 tokens</li><li>mean: 22.54 tokens</li><li>max: 39 tokens</li></ul>	<ul><li>min: 61 tokens</li><li>mean: 103.8 tokens</li><li>max: 182 tokens</li></ul>	<ul><li>min: 46 tokens</li><li>mean: 72.73 tokens</li><li>max: 116 tokens</li></ul>	<ul><li>min: 35 tokens</li><li>mean: 66.14 tokens</li><li>max: 110 tokens</li></ul>	<ul><li>min: 39 tokens</li><li>mean: 61.4 tokens</li><li>max: 99 tokens</li></ul>

• Samples:

  query	document	negative1	negative2	negative3
  <code>कुन पश्मिना राम्रो छ, हिमालयन ट्रेजरको कि पश्मिना प्यालेसको?</code>	<code>I bought the 'Hatti Dhundo' black pashmina shawl from Himalayan Treasure for NPR 3,200 and it was incredibly soft and warm. However, my friend got a similar pashmina from Pashmina Palace for NPR 2,800, but hers felt a bit thinner and less fluffy. The Himalayan Treasure one had better stitching and a more elegant finish, perfect for winter events. I'm glad I paid a bit more for the quality.</code>	<code>The 'Hatti Dhundo' pashmina from Himalayan Treasure is made from pure cashmere wool and comes in various colors. It is machine washable on a gentle cycle and dries quickly without shrinking. Many customers have praised its durability over multiple seasons.</code>	<code>I ordered a traditional Nepali dhaka topi from Kathmandu Handicrafts for NPR 500. The fabric was high-quality and the embroidery was precise, but it was a bit tight for my head size. They offered free exchanges, which was convenient.</code>	<code>These running shoes from Nike are lightweight and have great arch support. I wear them for my daily jog at Ratna Park and they've lasted over six months. The cushioning is still as good as new.</code>
  <code>Prestige Omega electric cooker specs kati watt ko cha ra kati liter ko ho?</code>	<code>The Prestige Omega 4-in-1 Electric Cooker (model: POC-45) features a 5-liter capacity stainless steel inner pot, 900W power consumption, and multi-function capabilities including rice cooking, slow cooking, steaming, and sautéing. It comes with a 24-hour digital timer, keep-warm function, and a non-stick inner lid for easy cleaning. Priced at NPR 8,500, it is available with a 1-year warranty in Nepal.</code>	<code>The Prestige Omega Induction Cooktop (model: PIC-2000) has a 2000W power output, 8 preset cooking modes, and a digital LED display with touch controls. It is compatible with all types of cookware and comes with a 2-year warranty. Price is NPR 5,200.</code>	<code>The Philips Airfryer XXL (model: HD9650/90) uses 2225W of power, has a 3-pound capacity basket, and features fat reduction technology for healthier frying. It includes 11 preset cooking programs and a keep-warm function. Available for NPR 22,000.</code>	<code>The IKEA KALLAX Shelf Unit (dimensions: 147x147 cm) is a versatile storage solution made from particleboard with a foil finish. It comes in black-brown and white colors and can be used as a room divider or bookshelf. Price is NPR 9,500.</code>
  <code>Khadi Natural Vitamin C Serum कसरी use गर्ने?</code>	<code>To get the best results from your Khadi Natural Vitamin C Face Serum, apply 3-4 drops to a clean, damp face every morning after cleansing. Gently massage it into your skin using upward motions, avoiding the eye area, and let it absorb for a minute before layering with a moisturizer. For Nepali users, this ₹450 (approx. NPR 720) serum is ideal for brightening dull skin and reducing hyperpigmentation, especially in Kathmandu's polluted environment. Always use sunscreen during the day, as Vitamin C can increase sun sensitivity.</code>	<code>The Khadi Natural Vitamin C Face Serum contains 20% stabilized Vitamin C, hyaluronic acid, and aloe vera, making it a potent antioxidant formula for all skin types. It is available in a 30ml glass bottle with a dropper and is free from parabens and sulfates. This serum is manufactured in India and has a shelf life of 24 months from the date of manufacture.</code>	<code>Are you looking for the best Vitamin C serums in Nepal? Check out our top picks including The Ordinary, Minimalist, and Khadi Natural, with prices ranging from NPR 800 to NPR 3,500. We also have a buying guide for Nepali skin types, including tips for oily and acne-prone skin. Order now for free delivery in Kathmandu and Lalitpur.</code>	<code>Get glowing skin with our new range of organic face masks made from Nepali turmeric and local honey. Each mask is handcrafted in Pokhara and costs only NPR 500, with a 100% money-back guarantee. These masks are perfect for a weekly pampering session and come in eco-friendly packaging.</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": "hard_negatives",
      "hardness_strength": 5
  }
  

</details> <details><summary>cross_lingual</summary>

cross_lingual

• Dataset: cross_lingual at 7efcacf
• Size: 1,600 evaluation samples
• Columns: <code>source_text</code> and <code>text</code>
• Approximate statistics based on the first 100 samples:

  	source_text	text
  type	string	string
  modality	text	text
  details	<ul><li>min: 26 tokens</li><li>mean: 41.56 tokens</li><li>max: 67 tokens</li></ul>	<ul><li>min: 16 tokens</li><li>mean: 46.09 tokens</li><li>max: 79 tokens</li></ul>

• Samples:

  source_text	text
  <code>माध्यमिक शिक्षा परीक्षा (एसईई) को नतिजा आज साँझ सार्वजनिक हुँदैछ। करिब ५ लाख १४ हजार विद्यार्थीहरूले परीक्षा दिएका थिए।</code>	<code>माध्यमिक शिक्षा परीक्षा (एसईई) को नतिजा आज साँझ public हुँदैछ। करिब ५ लाख १४ हजार studentsहरूले exam दिएका थिए।</code>
  <code>देशभर मनसुनी वायुको प्रभावले आंशिकदेखि सामान्य बदली रहने र केहि प्रदेशहरूमा वर्षा र हिमपातको सम्भावना रहेको छ।</code>	<code>desh bhar ma mansuni vayu ko prabhawle aanshik dekhi samanya badli rahne ra kehi pradhesh haru ma barsha ra himpat ko sambhavana xa.</code>
  <code>नेपाल उद्योग वाणिज्य महासङ्घका अध्यक्ष चन्द्रप्रसाद ढकालले स्पेनका व्यवसायीलाई नेपालमा लगानी गर्न आग्रह गरेका छन्, विशेष गरी पर्यटन, ऊर्जा, कृषि तथा पूर्वाधार क्षेत्रमा।</code>	<code>Nepal Udyog Vanijya Mahasanghka adhyakshya Chandraprasad Dhakal le Spainka byabasayilaai Nepalma lagani garna agrah gareka xan, vishesh gari paryatan, urja, krishi tatha purwadhar kshetrama.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details> <details><summary>sanoir_general</summary>

sanoir_general

• Dataset: sanoir_general at 7e53250
• Size: 553 evaluation samples
• Columns: <code>query</code>, <code>positive</code>, <code>negative_1</code>, <code>negative_2</code>, <code>negative_3</code>, and <code>negative_4</code>
• Approximate statistics based on the first 100 samples:

  	query	positive	negative_1	negative_2	negative_3	negative_4
  type	string	string	string	string	string	string
  modality	text	text	text	text	text	text
  details	<ul><li>min: 13 tokens</li><li>mean: 35.4 tokens</li><li>max: 71 tokens</li></ul>	<ul><li>min: 15 tokens</li><li>mean: 79.82 tokens</li><li>max: 153 tokens</li></ul>	<ul><li>min: 17 tokens</li><li>mean: 65.24 tokens</li><li>max: 95 tokens</li></ul>	<ul><li>min: 13 tokens</li><li>mean: 56.26 tokens</li><li>max: 91 tokens</li></ul>	<ul><li>min: 16 tokens</li><li>mean: 53.84 tokens</li><li>max: 85 tokens</li></ul>	<ul><li>min: 12 tokens</li><li>mean: 53.05 tokens</li><li>max: 84 tokens</li></ul>

• Samples:

  query	positive	negative_1	negative_2	negative_3	negative_4
  <code>कुवेत जाने नयाँ कामदारको लागि दूतावासबाट जारी हुने अनिवार्य प्रमाणपत्र कुन हो र यसको आवेदन दिने अन्तिम मिति र चाहिने कागजात के के हुन्?</code>	<code>वैदेशिक रोजगारी सम्बन्धी आधिकारिक म्यानुअल अनुसार, कुवेत जाने नयाँ कामदारले दूतावासबाट जारी गरिने 'वर्क एग्रिमेन्ट सर्टिफिकेट' लिनु अनिवार्य छ। यो प्रमाणपत्र लिन २०८१ साल असार मसान्तभित्र आवेदन दिनुपर्छ। आवश्यक कागजातमा नियुक्ति पत्र, पासपोर्ट र मेडिकल रिपोर्ट पर्छन्। प्रमाणपत्र नभएमा कामदारलाई रोजगारदाताले कुवेतमा प्रवेश दिन पाउँदैन।</code>	<code>वैदेशिक रोजगारीमा जाने कामदारले के.वाई.सी. प्रमाणपत्र लिनुपर्छ भनी बैंक सञ्चालन म्यानुअलमा उल्लेख छ। यसअनुसार कामदारले आफ्नो बैंक खाता खोल्दा मात्र नागरिकता र पासपोर्ट देखाउनु पर्याप्त हुन्छ। के.वाई.सी. ले कामदारको विदेशी रोजगारदातासँगको सम्बन्ध जाँच्दैन। यो प्रक्रिया रेमिट्यान्स पठाउन अनिवार्य छैन।</code>	<code>सिफाली उद्यमशीलता तालिम केन्द्रले २०८० सालमि सञ्चालन गरेको ६ हप्ते बेकरी तालिममा ४५ जना सहभागीले सफलतापूर्वक समापन गरे। तालिममा व्यावसायिक योजना, खुद्रा बजार विश्लेषण र पकाउने प्रविधि सिकाइयो। केन्द्रका अनुसार तालिमपछि ३० जनाले स्थानीय पसल खोले।</code>	<code>वैदेशिक रोजगारीबाट फर्केका कामदारका लागि पुनः एकीकरण मार्गदर्शिकामा भनिएको छ कि नेपाल फर्किएपछि पहिलो ९० दिनभित्र कामदारले स्वास्थ्य बीमा दाबी गर्न सक्छ। यसमा व्यावसायिक सीप मूल्याङ्कन वा रोजगार कार्यालय दर्ताको प्रक्रिया समावेश छैन।</code>	<code>वैदेशिक रोजगारीमा जान चाहने नयाँ कामदारले दूतावासबाट प्राप्त गर्ने प्रमाणपत्र 'भिसा अनुमोदन पत्र' हो जुन काजस्थानमा मात्र लागू हुन्छ। यसका लागि कामदारले आफ्नो नियुक्ति पत्र र मेडिकल रिपोर्ट पेस गर्नुपर्छ। यो प्रमाणपत्र रोजगारदाताले जारी गर्दैन।</code>
  <code>वित्तीय वर्ष २०८१ देखि प्रदेश सरकारको पोर्टलबाट प्रादेशिक न्यायिक सहायता कोषमा अनलाइन आवेदन दिन मिल्ने नीति कुन हो?</code>	<code>नीति सूचना: प्रादेशिक न्यायिक सहायता कोषको लागि नागरिकले अनलाइन माध्यमबाट दरखास्त दिन पाउने व्यवस्था वित्तीय वर्ष २०८१ बाट लागू भएको छ। यस अन्तर्गत आवेदकले सम्बन्धित प्रदेश सरकारको आधिकारिक पोर्टलमार्फत निवेदन पेश गर्न सक्नेछन्।</code>	<code>स्थानीय निकायले जारी गरेको नीति सूचना: वित्तीय वर्ष २०८१ मा प्रादेशिक न्यायिक सहायता कोषको लागि छुट्ट्याइएको बजेट ४ करोड रुपैयाँ थियो। यस्तो रकम केन्द्रीय कोषभन्दा फरक छ। आवेदकले प्रदेश सरकारको पोर्टलबाट मात्र निवेदन दिनुपर्ने व्यवस्था गरिएको छ।</code>	<code>नीति सूचना: नागरिकले प्रादेशिक न्यायिक सहायता कोषबाट सहायता लिन केन्द्रीय कार्यालयमा उपस्थित हुनुपर्छ भन्ने व्यवस्था खारेज गरिएको छ। अब सेवा भौतिक रूपमा मात्र उपलब्ध हुनेछ, अनलाइन प्रणाली लागू हुँदैन।</code>	<code>कार्यविधि सूचना: प्रादेशिक न्यायिक सहायता कोषको लागि दरखास्त दिने अनलाइन माध्यम वित्तीय वर्ष २०८२ देखि लागू हुने गरी तयार गरिएको छ। हाललाई कागजी निवेदन मात्र मान्य हुन्छ।</code>	<code>नीति सूचना: केन्द्रीय न्यायिक सहायता कोषको लागि अनलाइन आवेदन प्रणाली वित्तीय वर्ष २०८१ बाट सञ्चालनमा आएको छ। प्रादेशिक कोषभन्दा फरक रूपमा केन्द्रीय पोर्टलबाट नै दरखास्त दिनुपर्ने व्यवस्था छ।</code>
  <code>How can people of foreign origin obtain Nepali citizenship?</code>	<code>विदेशी मूलका व्यक्तिहरूले नेपालको नागरिकता प्राप्त गर्ने कानुनी व्यवस्था के छ?</code>	<code>नेपालको नयाँ नागरिकता कानुन अनुसार, विदेशी नागरिकले नेपाली नागरिकता प्राप्त गर्नका लागि कुन प्रक्रिया अपनाउनुपर्छ?</code>	<code>के विदेशी नागरिकहरूले नेपालमा स्थायी बसोबास प्राप्त गरेपछि मात्र नागरिकताको आवेदन दिन पाउँछन्?</code>	<code>नेपाली नागरिकता प्राप्त गर्नका लागि कुन प्रकारका कागजातहरू पेश गर्न आवश्यक पर्दछ?</code>	<code>नेपाल सरकारले विदेशी नागरिकता त्याग्ने प्रक्रियालाई कसरी सरल बनाउने नीति ल्याएको छ?</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details> <details><summary>ne_wiki_qa</summary>

ne_wiki_qa

• Dataset: ne_wiki_qa at 65fb7ed
• Size: 9,850 evaluation samples
• Columns: <code>query</code> and <code>doc</code>
• Approximate statistics based on the first 100 samples:

  	query	doc
  type	string	string
  modality	text	text
  details	<ul><li>min: 7 tokens</li><li>mean: 12.69 tokens</li><li>max: 21 tokens</li></ul>	<ul><li>min: 67 tokens</li><li>mean: 175.25 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  query	doc
  <code>BP Koirala Institute स्थापना हुनुको कारण के हो?</code>	<code>१. वि.सं २०४८ मा बिपी कोइराला नेपाल स्वास्थ्य विज्ञान प्रतिष्ठान, भारत र नेपालका प्रधानमन्त्रीहरूले दुई देशबीचको समझदारी र मित्रतालाई निरन्तर पालनपोषण र थप प्रवर्द्धन गर्न राष्ट्रसेवक, सञ्चारकर्मी आदिलाई उपलब्ध गराएर सरकार–देखि सरकारी स्तरमा गरिने सामान्य सहयोग र अन्तरक्रियालाई परिपूर्ति गर्ने उद्देश्यका साथ स्थापना गरिएको थियो।</code>
  <code>बिपी कोइराला स्वास्थ्य विज्ञान प्रतिष्ठान स्थापनाको उद्देश्य</code>	<code>१. वि.सं २०४८ मा बिपी कोइराला नेपाल स्वास्थ्य विज्ञान प्रतिष्ठान, भारत र नेपालका प्रधानमन्त्रीहरूले दुई देशबीचको समझदारी र मित्रतालाई निरन्तर पालनपोषण र थप प्रवर्द्धन गर्न राष्ट्रसेवक, सञ्चारकर्मी आदिलाई उपलब्ध गराएर सरकार–देखि सरकारी स्तरमा गरिने सामान्य सहयोग र अन्तरक्रियालाई परिपूर्ति गर्ने उद्देश्यका साथ स्थापना गरिएको थियो।</code>
  <code>लन्डन कहिले बेलायतको राजधानी बन्यो</code>	<code>रोमनहरूले इश्वि सन ४३मा थेम्स नदी किनारमा लोन्दिनियम नामको एक सहर निर्माण गरे, जसको नाम पछि लन्डन भयो। यस सहरलाई सन ६१मा रानी बौदिकाका सैनिकहरूले ध्वस्त पारे। रोमनहरूले समातेपछि बौदिकाले आत्महत्या गरिन। रोमनहरूले लन्डनको पुनर्निर्माण गरे। लन्डन एक महत्त्वपूर्ण ब्यापारिक सहर हुनपुग्यो। रोमनहरूले ब्रिटेन छाडेपछि धेरै समयसम्म सहरमा कोही पनि बसेनन् किन भनें एङ्गलो-सेक्सनहरू गाँउमा बस्न रुचाँउदथे। नवौँ सताब्दीमा मानिसहरू त्यहाँ फेरी बस्न थाले। यो बेलायतको सबै भन्दा ठूलो सहर त बन्यो तर १२वौं सताब्दीमा आएर मात्र यो बेलायतको राजधानी बन्यो।</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

</details>

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• num_train_epochs: 5.0
• learning_rate: 1e-05
• warmup_steps: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• dataloader_num_workers: 4
• dataloader_pin_memory: False
• dataloader_persistent_workers: True
• dataloader_prefetch_factor: 4
• prompts: {'nepali_qa_9k': {'question': 'query: ', 'answer': 'passage: '}, 'ecommerce': {'query': 'query: ', 'document': 'passage: ', 'negative1': 'passage: ', 'negative2': 'passage: ', 'negative3': 'passage: '}, 'sanoir_general': {'query': 'query: ', 'positive': 'passage: ', 'negative_1': 'passage: ', 'negative_2': 'passage: ', 'negative_3': 'passage: ', 'negative_4': 'passage: '}, 'ne_wiki_qa': {'query': 'query: ', 'doc': 'passage: '}}
• batch_sampler: no_duplicates_hashed

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 128
• num_train_epochs: 5.0
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_pin_memory: False
• dataloader_persistent_workers: True
• dataloader_prefetch_factor: 4
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: {'nepali_qa_9k': {'question': 'query: ', 'answer': 'passage: '}, 'ecommerce': {'query': 'query: ', 'document': 'passage: ', 'negative1': 'passage: ', 'negative2': 'passage: ', 'negative3': 'passage: '}, 'sanoir_general': {'query': 'query: ', 'positive': 'passage: ', 'negative_1': 'passage: ', 'negative_2': 'passage: ', 'negative_3': 'passage: ', 'negative_4': 'passage: '}, 'ne_wiki_qa': {'query': 'query: ', 'doc': 'passage: '}}
• batch_sampler: no_duplicates_hashed
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Training Time

• Training: 37.4 minutes

Framework Versions

• Python: 3.12.11
• Sentence Transformers: 5.6.0
• Transformers: 5.14.1
• PyTorch: 2.13.0+cu130
• Accelerate: 1.14.0
• Datasets: 4.3.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{günther2024jinaembeddings28192token,
      title={Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents},
      author={Michael Günther and Jackmin Ong and Isabelle Mohr and Alaeddine Abdessalem and Tanguy Abel and Mohammad Kalim Akram and Susana Guzman and Georgios Mastrapas and Saba Sturua and Bo Wang and Maximilian Werk and Nan Wang and Han Xiao},
      year={2024},
      eprint={2310.19923},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2310.19923},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->