splade-NeoBERT-msmarco-triplets-muon

splade-NeoBERT-RetroMAE-pretrain trained on LightOn MS MARCO (triplets)

This is a SPLADE Sparse Encoder model finetuned from drexalt/NeoBERT-RetroMAE-pretrain on the ms-marco-en-bge-gemma dataset using the sentence-transformers library. It maps sentences & paragraphs to a 30522-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: SPLADE Sparse Encoder
• Base model: drexalt/NeoBERT-RetroMAE-pretrain <!-- at revision 6188f69ff9405de3e499b9078f720bba84a4f9e2 -->
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 30522 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • ms-marco-en-bge-gemma
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): MLMTransformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'NeoBERTLMHead'})
  (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 30522})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("drexalt/splade-NeoBERT-msmarco-triplets-muon")
# Run inference
sentences = [
    'The weather is lovely today.',
    "It's so sunny outside!",
    'He drove to the stadium.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 30522]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Sparse Information Retrieval

• Datasets: NanoSciFact, NanoMSMARCO, NanoTouche2020, NanoSCIDOCS and NanoNFCorpus
• Evaluated with <code>SparseInformationRetrievalEvaluator</code>

Sparse Nano BEIR

• Dataset: NanoBEIR_mean
• Evaluated with <code>SparseNanoBEIREvaluator</code> with these parameters:

  {
      "dataset_names": [
          "scifact",
          "msmarco",
          "touche2020",
          "scidocs",
          "nfcorpus"
      ]
  }
  

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

ms-marco-en-bge-gemma

• Dataset: ms-marco-en-bge-gemma at 1a1ffe7
• Size: 630,000 training samples
• Columns: <code>query_id</code>, <code>document_ids</code>, and <code>scores</code>
• Approximate statistics based on the first 1000 samples:

  	query_id	document_ids	scores
  type	int	list	list
  details	<ul><li>1717: ~0.10%</li><li>2559: ~0.10%</li><li>4516: ~0.10%</li><li>5453: ~0.10%</li><li>6970: ~0.10%</li><li>7460: ~0.10%</li><li>7565: ~0.10%</li><li>7830: ~0.10%</li><li>8194: ~0.10%</li><li>10323: ~0.10%</li><li>12091: ~0.10%</li><li>12574: ~0.10%</li><li>12734: ~0.10%</li><li>14980: ~0.10%</li><li>17038: ~0.10%</li><li>18983: ~0.10%</li><li>20235: ~0.10%</li><li>22465: ~0.10%</li><li>22835: ~0.10%</li><li>23733: ~0.10%</li><li>23954: ~0.10%</li><li>24203: ~0.10%</li><li>24387: ~0.10%</li><li>24665: ~0.10%</li><li>25634: ~0.10%</li><li>26002: ~0.10%</li><li>26540: ~0.10%</li><li>26646: ~0.10%</li><li>26667: ~0.10%</li><li>26927: ~0.10%</li><li>28082: ~0.10%</li><li>29042: ~0.10%</li><li>29506: ~0.10%</li><li>31861: ~0.10%</li><li>34696: ~0.10%</li><li>34813: ~0.10%</li><li>34828: ~0.10%</li><li>36140: ~0.10%</li><li>40587: ~0.10%</li><li>41259: ~0.10%</li><li>43292: ~0.10%</li><li>44019: ~0.10%</li><li>44392: ~0.10%</li><li>45059: ~0.10%</li><li>45996: ~0.10%</li><li>46414: ~0.10%</li><li>48113: ~0.10%</li><li>48196: ~0.10%</li><li>49460: ~0.10%</li><li>49676: ~0.10%</li><li>50523: ~0.10%</li><li>51035: ~0.10%</li><li>51238: ~0.10%</li><li>52406: ~0.10%</li><li>58277: ~0.10%</li><li>58610: ~0.10%</li><li>63482: ~0.10%</li><li>63910: ~0.10%</li><li>64628: ~0.10%</li><li>65352: ~0.10%</li><li>65783: ~0.10%</li><li>65823: ~0.10%</li><li>66069: ~0.10%</li><li>66296: ~0.10%</li><li>67034: ~0.10%</li><li>67328: ~0.10%</li><li>67714: ~0.10%</li><li>70988: ~0.10%</li><li>71460: ~0.10%</li><li>74099: ~0.10%</li><li>74797: ~0.10%</li><li>75434: ~0.10%</li><li>75911: ~0.10%</li><li>76521: ~0.10%</li><li>81392: ~0.10%</li><li>83268: ~0.10%</li><li>83753: ~0.10%</li><li>86826: ~0.10%</li><li>87095: ~0.10%</li><li>87171: ~0.10%</li><li>87759: ~0.10%</li><li>88920: ~0.10%</li><li>89772: ~0.10%</li><li>90055: ~0.10%</li><li>90292: ~0.10%</li><li>96038: ~0.10%</li><li>96983: ~0.10%</li><li>100204: ~0.10%</li><li>101660: ~0.10%</li><li>104318: ~0.10%</li><li>107059: ~0.10%</li><li>107372: ~0.10%</li><li>107470: ~0.10%</li><li>108418: ~0.10%</li><li>108464: ~0.10%</li><li>109583: ~0.10%</li><li>111387: ~0.10%</li><li>112160: ~0.10%</li><li>114114: ~0.10%</li><li>114216: ~0.10%</li><li>115480: ~0.10%</li><li>115976: ~0.10%</li><li>120637: ~0.10%</li><li>122741: ~0.10%</li><li>123024: ~0.10%</li><li>123071: ~0.10%</li><li>125810: ~0.10%</li><li>126369: ~0.10%</li><li>127793: ~0.10%</li><li>128407: ~0.10%</li><li>128545: ~0.10%</li><li>129917: ~0.10%</li><li>130181: ~0.10%</li><li>130771: ~0.10%</li><li>130891: ~0.10%</li><li>131810: ~0.10%</li><li>131975: ~0.10%</li><li>133482: ~0.10%</li><li>134498: ~0.10%</li><li>134685: ~0.10%</li><li>135628: ~0.10%</li><li>138675: ~0.10%</li><li>140491: ~0.10%</li><li>141451: ~0.10%</li><li>141486: ~0.10%</li><li>141942: ~0.10%</li><li>143523: ~0.10%</li><li>148169: ~0.10%</li><li>150490: ~0.10%</li><li>150986: ~0.10%</li><li>151253: ~0.10%</li><li>151870: ~0.10%</li><li>152951: ~0.10%</li><li>157457: ~0.10%</li><li>158103: ~0.10%</li><li>158725: ~0.10%</li><li>158952: ~0.10%</li><li>159201: ~0.10%</li><li>159462: ~0.10%</li><li>161112: ~0.10%</li><li>161996: ~0.10%</li><li>162669: ~0.10%</li><li>162898: ~0.10%</li><li>163201: ~0.10%</li><li>165614: ~0.10%</li><li>167167: ~0.10%</li><li>169027: ~0.10%</li><li>169037: ~0.10%</li><li>169417: ~0.10%</li><li>170856: ~0.10%</li><li>170960: ~0.10%</li><li>171395: ~0.10%</li><li>172158: ~0.10%</li><li>176786: ~0.10%</li><li>177931: ~0.10%</li><li>178010: ~0.10%</li><li>178681: ~0.10%</li><li>178829: ~0.10%</li><li>181564: ~0.10%</li><li>183694: ~0.10%</li><li>183897: ~0.10%</li><li>184132: ~0.10%</li><li>186247: ~0.10%</li><li>186372: ~0.10%</li><li>188336: ~0.10%</li><li>188833: ~0.10%</li><li>188840: ~0.10%</li><li>189084: ~0.10%</li><li>189504: ~0.10%</li><li>189998: ~0.10%</li><li>191093: ~0.10%</li><li>191178: ~0.10%</li><li>195381: ~0.10%</li><li>196379: ~0.10%</li><li>197524: ~0.10%</li><li>199027: ~0.10%</li><li>200003: ~0.10%</li><li>200074: ~0.10%</li><li>200640: ~0.10%</li><li>200715: ~0.10%</li><li>202019: ~0.10%</li><li>202917: ~0.10%</li><li>204733: ~0.10%</li><li>207182: ~0.10%</li><li>207263: ~0.10%</li><li>207390: ~0.10%</li><li>208531: ~0.10%</li><li>209119: ~0.10%</li><li>209498: ~0.10%</li><li>210396: ~0.10%</li><li>210646: ~0.10%</li><li>212391: ~0.10%</li><li>212913: ~0.10%</li><li>212983: ~0.10%</li><li>216011: ~0.10%</li><li>219184: ~0.10%</li><li>221171: ~0.10%</li><li>222287: ~0.10%</li><li>222473: ~0.10%</li><li>222614: ~0.10%</li><li>224756: ~0.10%</li><li>224950: ~0.10%</li><li>226310: ~0.10%</li><li>229816: ~0.10%</li><li>231247: ~0.10%</li><li>233896: ~0.10%</li><li>234813: ~0.10%</li><li>235383: ~0.10%</li><li>235475: ~0.10%</li><li>236436: ~0.10%</li><li>237398: ~0.10%</li><li>237486: ~0.10%</li><li>238352: ~0.10%</li><li>238432: ~0.10%</li><li>239059: ~0.10%</li><li>240439: ~0.10%</li><li>242982: ~0.10%</li><li>243774: ~0.10%</li><li>245317: ~0.10%</li><li>245838: ~0.10%</li><li>247749: ~0.10%</li><li>250171: ~0.10%</li><li>251682: ~0.10%</li><li>251974: ~0.10%</li><li>253372: ~0.10%</li><li>255994: ~0.10%</li><li>256208: ~0.10%</li><li>256348: ~0.10%</li><li>256873: ~0.10%</li><li>256903: ~0.10%</li><li>257494: ~0.10%</li><li>259130: ~0.10%</li><li>260993: ~0.10%</li><li>261546: ~0.10%</li><li>263423: ~0.10%</li><li>264018: ~0.10%</li><li>265660: ~0.10%</li><li>266417: ~0.10%</li><li>269054: ~0.10%</li><li>272011: ~0.10%</li><li>272089: ~0.10%</li><li>272289: ~0.10%</li><li>272701: ~0.10%</li><li>274193: ~0.10%</li><li>281847: ~0.10%</li><li>282378: ~0.10%</li><li>282515: ~0.10%</li><li>284372: ~0.10%</li><li>284853: ~0.10%</li><li>284993: ~0.10%</li><li>287371: ~0.10%</li><li>288845: ~0.10%</li><li>290277: ~0.10%</li><li>293252: ~0.10%</li><li>294511: ~0.10%</li><li>295331: ~0.10%</li><li>298947: ~0.10%</li><li>299022: ~0.10%</li><li>301039: ~0.10%</li><li>301950: ~0.10%</li><li>306879: ~0.10%</li><li>307687: ~0.10%</li><li>307994: ~0.10%</li><li>308323: ~0.10%</li><li>308437: ~0.10%</li><li>309562: ~0.10%</li><li>310117: ~0.10%</li><li>311615: ~0.10%</li><li>312776: ~0.10%</li><li>313906: ~0.10%</li><li>315788: ~0.10%</li><li>315930: ~0.10%</li><li>318325: ~0.10%</li><li>319124: ~0.10%</li><li>321169: ~0.10%</li><li>322402: ~0.10%</li><li>323823: ~0.10%</li><li>323864: ~0.10%</li><li>325436: ~0.10%</li><li>325917: ~0.10%</li><li>326282: ~0.10%</li><li>326893: ~0.10%</li><li>328432: ~0.10%</li><li>328739: ~0.10%</li><li>328861: ~0.10%</li><li>328866: ~0.10%</li><li>330169: ~0.10%</li><li>330483: ~0.10%</li><li>331641: ~0.10%</li><li>333342: ~0.10%</li><li>335022: ~0.10%</li><li>336943: ~0.10%</li><li>338933: ~0.10%</li><li>340030: ~0.10%</li><li>340229: ~0.10%</li><li>340940: ~0.10%</li><li>342046: ~0.10%</li><li>343714: ~0.10%</li><li>346971: ~0.10%</li><li>348036: ~0.10%</li><li>348584: ~0.10%</li><li>348655: ~0.10%</li><li>354043: ~0.10%</li><li>356609: ~0.10%</li><li>358466: ~0.10%</li><li>358674: ~0.10%</li><li>359147: ~0.10%</li><li>359175: ~0.10%</li><li>359699: ~0.10%</li><li>360330: ~0.10%</li><li>360573: ~0.10%</li><li>363180: ~0.10%</li><li>363360: ~0.10%</li><li>364722: ~0.10%</li><li>364728: ~0.10%</li><li>365337: ~0.10%</li><li>365622: ~0.10%</li><li>365969: ~0.10%</li><li>366447: ~0.10%</li><li>368185: ~0.10%</li><li>368380: ~0.10%</li><li>368600: ~0.10%</li><li>370233: ~0.10%</li><li>372263: ~0.10%</li><li>372363: ~0.10%</li><li>376365: ~0.10%</li><li>376950: ~0.10%</li><li>378730: ~0.10%</li><li>379033: ~0.10%</li><li>381384: ~0.10%</li><li>381390: ~0.10%</li><li>382274: ~0.10%</li><li>383776: ~0.10%</li><li>383778: ~0.10%</li><li>384229: ~0.10%</li><li>385972: ~0.10%</li><li>386328: ~0.10%</li><li>386696: ~0.10%</li><li>388504: ~0.10%</li><li>389671: ~0.10%</li><li>391365: ~0.10%</li><li>391608: ~0.10%</li><li>395021: ~0.10%</li><li>398055: ~0.10%</li><li>399076: ~0.10%</li><li>399902: ~0.10%</li><li>401876: ~0.10%</li><li>402054: ~0.10%</li><li>402309: ~0.10%</li><li>402540: ~0.10%</li><li>402969: ~0.10%</li><li>404353: ~0.10%</li><li>404588: ~0.10%</li><li>407831: ~0.10%</li><li>408840: ~0.10%</li><li>409489: ~0.10%</li><li>410010: ~0.10%</li><li>413386: ~0.10%</li><li>418309: ~0.10%</li><li>418324: ~0.10%</li><li>418912: ~0.10%</li><li>420466: ~0.10%</li><li>420657: ~0.10%</li><li>421096: ~0.10%</li><li>421776: ~0.10%</li><li>422053: ~0.10%</li><li>423710: ~0.10%</li><li>425081: ~0.10%</li><li>425383: ~0.10%</li><li>425667: ~0.10%</li><li>427742: ~0.10%</li><li>427871: ~0.10%</li><li>428572: ~0.10%</li><li>430170: ~0.10%</li><li>430514: ~0.10%</li><li>431264: ~0.10%</li><li>432533: ~0.10%</li><li>433072: ~0.10%</li><li>433649: ~0.10%</li><li>435384: ~0.10%</li><li>437259: ~0.10%</li><li>438828: ~0.10%</li><li>439139: ~0.10%</li><li>440043: ~0.10%</li><li>440726: ~0.10%</li><li>440776: ~0.10%</li><li>445080: ~0.10%</li><li>446384: ~0.10%</li><li>448073: ~0.10%</li><li>448936: ~0.10%</li><li>452736: ~0.10%</li><li>455292: ~0.10%</li><li>456598: ~0.10%</li><li>458294: ~0.10%</li><li>459877: ~0.10%</li><li>460160: ~0.10%</li><li>460627: ~0.10%</li><li>461049: ~0.10%</li><li>461647: ~0.10%</li><li>462862: ~0.10%</li><li>463131: ~0.10%</li><li>463675: ~0.10%</li><li>463809: ~0.10%</li><li>464495: ~0.10%</li><li>465273: ~0.10%</li><li>465451: ~0.10%</li><li>466172: ~0.10%</li><li>467472: ~0.10%</li><li>467643: ~0.10%</li><li>467891: ~0.10%</li><li>469360: ~0.10%</li><li>469437: ~0.10%</li><li>470844: ~0.10%</li><li>474532: ~0.10%</li><li>476324: ~0.10%</li><li>476966: ~0.10%</li><li>477082: ~0.10%</li><li>477171: ~0.10%</li><li>477226: ~0.10%</li><li>477464: ~0.10%</li><li>478256: ~0.10%</li><li>478595: ~0.10%</li><li>479932: ~0.10%</li><li>481111: ~0.10%</li><li>481888: ~0.10%</li><li>482334: ~0.10%</li><li>483196: ~0.10%</li><li>484138: ~0.10%</li><li>484771: ~0.10%</li><li>485666: ~0.10%</li><li>487989: ~0.10%</li><li>488181: ~0.10%</li><li>489137: ~0.10%</li><li>491991: ~0.10%</li><li>492914: ~0.10%</li><li>495360: ~0.10%</li><li>495820: ~0.10%</li><li>496194: ~0.10%</li><li>497543: ~0.10%</li><li>498076: ~0.10%</li><li>498298: ~0.10%</li><li>499399: ~0.10%</li><li>500328: ~0.10%</li><li>500814: ~0.10%</li><li>500881: ~0.10%</li><li>501904: ~0.10%</li><li>501934: ~0.10%</li><li>502185: ~0.10%</li><li>502774: ~0.10%</li><li>503593: ~0.10%</li><li>504028: ~0.10%</li><li>504132: ~0.10%</li><li>504358: ~0.10%</li><li>505777: ~0.10%</li><li>508250: ~0.10%</li><li>510744: ~0.10%</li><li>510865: ~0.10%</li><li>510996: ~0.10%</li><li>511967: ~0.10%</li><li>513142: ~0.10%</li><li>515520: ~0.10%</li><li>516560: ~0.10%</li><li>518086: ~0.10%</li><li>518519: ~0.10%</li><li>520930: ~0.10%</li><li>521293: ~0.10%</li><li>521325: ~0.10%</li><li>522264: ~0.10%</li><li>524841: ~0.10%</li><li>529403: ~0.10%</li><li>529739: ~0.10%</li><li>530362: ~0.10%</li><li>532849: ~0.10%</li><li>533314: ~0.10%</li><li>534103: ~0.10%</li><li>534164: ~0.10%</li><li>534217: ~0.10%</li><li>536431: ~0.10%</li><li>537416: ~0.10%</li><li>539195: ~0.10%</li><li>539649: ~0.10%</li><li>540178: ~0.10%</li><li>542707: ~0.10%</li><li>542830: ~0.10%</li><li>545148: ~0.10%</li><li>546250: ~0.10%</li><li>548158: ~0.10%</li><li>550628: ~0.10%</li><li>551931: ~0.10%</li><li>552532: ~0.10%</li><li>552871: ~0.10%</li><li>554937: ~0.10%</li><li>555226: ~0.10%</li><li>555228: ~0.10%</li><li>555256: ~0.10%</li><li>555582: ~0.10%</li><li>560173: ~0.10%</li><li>560299: ~0.10%</li><li>561385: ~0.10%</li><li>564456: ~0.10%</li><li>564708: ~0.10%</li><li>565840: ~0.10%</li><li>568780: ~0.10%</li><li>569955: ~0.10%</li><li>572074: ~0.10%</li><li>572863: ~0.10%</li><li>573082: ~0.10%</li><li>573246: ~0.10%</li><li>573668: ~0.10%</li><li>575010: ~0.10%</li><li>576301: ~0.10%</li><li>577714: ~0.10%</li><li>580068: ~0.10%</li><li>580285: ~0.10%</li><li>580738: ~0.10%</li><li>581464: ~0.10%</li><li>581773: ~0.10%</li><li>581862: ~0.10%</li><li>582944: ~0.10%</li><li>583537: ~0.10%</li><li>584347: ~0.10%</li><li>586746: ~0.10%</li><li>586988: ~0.10%</li><li>588021: ~0.10%</li><li>593313: ~0.10%</li><li>593648: ~0.10%</li><li>594059: ~0.10%</li><li>594099: ~0.10%</li><li>594172: ~0.10%</li><li>594407: ~0.10%</li><li>596503: ~0.10%</li><li>596508: ~0.10%</li><li>596626: ~0.10%</li><li>597037: ~0.10%</li><li>598496: ~0.10%</li><li>598741: ~0.10%</li><li>598753: ~0.10%</li><li>600083: ~0.10%</li><li>601179: ~0.10%</li><li>602832: ~0.10%</li><li>602876: ~0.10%</li><li>603900: ~0.10%</li><li>605862: ~0.10%</li><li>606912: ~0.10%</li><li>606936: ~0.10%</li><li>607768: ~0.10%</li><li>608485: ~0.10%</li><li>609304: ~0.10%</li><li>609808: ~0.10%</li><li>611784: ~0.10%</li><li>613176: ~0.10%</li><li>613221: ~0.10%</li><li>613307: ~0.10%</li><li>613364: ~0.10%</li><li>614760: ~0.10%</li><li>616502: ~0.10%</li><li>616656: ~0.10%</li><li>616676: ~0.10%</li><li>616998: ~0.10%</li><li>617186: ~0.10%</li><li>618447: ~0.10%</li><li>619004: ~0.10%</li><li>619677: ~0.10%</li><li>620357: ~0.10%</li><li>620419: ~0.10%</li><li>623560: ~0.10%</li><li>626825: ~0.10%</li><li>626988: ~0.10%</li><li>627073: ~0.10%</li><li>627742: ~0.10%</li><li>629548: ~0.10%</li><li>629832: ~0.10%</li><li>629835: ~0.10%</li><li>630403: ~0.10%</li><li>632582: ~0.10%</li><li>632599: ~0.10%</li><li>634095: ~0.10%</li><li>634828: ~0.10%</li><li>635190: ~0.10%</li><li>635314: ~0.10%</li><li>638387: ~0.10%</li><li>639716: ~0.10%</li><li>641671: ~0.10%</li><li>642608: ~0.10%</li><li>644255: ~0.10%</li><li>644318: ~0.10%</li><li>644845: ~0.10%</li><li>648374: ~0.10%</li><li>649169: ~0.10%</li><li>649274: ~0.10%</li><li>653757: ~0.10%</li><li>654471: ~0.10%</li><li>654638: ~0.10%</li><li>654645: ~0.10%</li><li>656026: ~0.10%</li><li>656913: ~0.10%</li><li>658496: ~0.10%</li><li>658638: ~0.10%</li><li>658890: ~0.10%</li><li>658902: ~0.10%</li><li>659137: ~0.10%</li><li>659318: ~0.10%</li><li>659532: ~0.10%</li><li>662758: ~0.10%</li><li>665483: ~0.10%</li><li>667240: ~0.10%</li><li>667266: ~0.10%</li><li>667333: ~0.10%</li><li>668486: ~0.10%</li><li>670280: ~0.10%</li><li>671110: ~0.10%</li><li>672129: ~0.10%</li><li>673697: ~0.10%</li><li>674596: ~0.10%</li><li>674941: ~0.10%</li><li>676599: ~0.10%</li><li>677257: ~0.10%</li><li>677449: ~0.10%</li><li>680709: ~0.10%</li><li>681143: ~0.10%</li><li>681886: ~0.10%</li><li>684120: ~0.10%</li><li>686078: ~0.10%</li><li>686767: ~0.10%</li><li>686860: ~0.10%</li><li>688005: ~0.10%</li><li>689134: ~0.10%</li><li>689597: ~0.10%</li><li>697548: ~0.10%</li><li>699021: ~0.10%</li><li>699479: ~0.10%</li><li>700234: ~0.10%</li><li>700894: ~0.10%</li><li>702641: ~0.10%</li><li>703451: ~0.10%</li><li>703646: ~0.10%</li><li>704152: ~0.10%</li><li>708313: ~0.10%</li><li>710857: ~0.10%</li><li>712902: ~0.10%</li><li>712921: ~0.10%</li><li>714758: ~0.10%</li><li>717164: ~0.10%</li><li>720343: ~0.10%</li><li>720939: ~0.10%</li><li>721406: ~0.10%</li><li>721904: ~0.10%</li><li>721933: ~0.10%</li><li>722297: ~0.10%</li><li>723264: ~0.10%</li><li>723903: ~0.10%</li><li>729397: ~0.10%</li><li>730316: ~0.10%</li><li>734116: ~0.10%</li><li>734644: ~0.10%</li><li>736209: ~0.10%</li><li>737324: ~0.10%</li><li>740094: ~0.10%</li><li>740935: ~0.10%</li><li>741421: ~0.10%</li><li>744363: ~0.10%</li><li>745385: ~0.10%</li><li>745908: ~0.10%</li><li>746236: ~0.10%</li><li>749033: ~0.10%</li><li>750837: ~0.10%</li><li>753291: ~0.10%</li><li>753334: ~0.10%</li><li>753441: ~0.10%</li><li>754532: ~0.10%</li><li>756549: ~0.10%</li><li>757686: ~0.10%</li><li>757745: ~0.10%</li><li>757804: ~0.10%</li><li>758835: ~0.10%</li><li>758852: ~0.10%</li><li>759582: ~0.10%</li><li>761695: ~0.10%</li><li>767660: ~0.10%</li><li>770320: ~0.10%</li><li>770706: ~0.10%</li><li>771840: ~0.10%</li><li>772752: ~0.10%</li><li>775892: ~0.10%</li><li>776015: ~0.10%</li><li>776096: ~0.10%</li><li>777284: ~0.10%</li><li>779462: ~0.10%</li><li>782968: ~0.10%</li><li>786950: ~0.10%</li><li>788354: ~0.10%</li><li>788974: ~0.10%</li><li>789407: ~0.10%</li><li>789825: ~0.10%</li><li>790356: ~0.10%</li><li>792581: ~0.10%</li><li>794935: ~0.10%</li><li>795990: ~0.10%</li><li>797638: ~0.10%</li><li>797935: ~0.10%</li><li>799597: ~0.10%</li><li>800558: ~0.10%</li><li>801339: ~0.10%</li><li>803026: ~0.10%</li><li>804080: ~0.10%</li><li>804453: ~0.10%</li><li>804485: ~0.10%</li><li>805239: ~0.10%</li><li>805443: ~0.10%</li><li>807253: ~0.10%</li><li>808985: ~0.10%</li><li>811129: ~0.10%</li><li>811298: ~0.10%</li><li>814066: ~0.10%</li><li>818588: ~0.10%</li><li>819232: ~0.10%</li><li>819338: ~0.10%</li><li>820433: ~0.10%</li><li>821288: ~0.10%</li><li>823361: ~0.10%</li><li>823882: ~0.10%</li><li>826560: ~0.10%</li><li>826891: ~0.10%</li><li>827498: ~0.10%</li><li>828249: ~0.10%</li><li>828305: ~0.10%</li><li>831977: ~0.10%</li><li>834468: ~0.10%</li><li>835178: ~0.10%</li><li>837394: ~0.10%</li><li>837576: ~0.10%</li><li>838484: ~0.10%</li><li>838658: ~0.10%</li><li>839365: ~0.10%</li><li>840048: ~0.10%</li><li>841398: ~0.10%</li><li>842301: ~0.10%</li><li>842848: ~0.10%</li><li>844304: ~0.10%</li><li>845943: ~0.10%</li><li>846070: ~0.10%</li><li>847894: ~0.10%</li><li>848130: ~0.10%</li><li>849862: ~0.10%</li><li>850273: ~0.10%</li><li>852734: ~0.10%</li><li>855530: ~0.10%</li><li>855947: ~0.10%</li><li>856532: ~0.10%</li><li>856753: ~0.10%</li><li>857857: ~0.10%</li><li>858600: ~0.10%</li><li>858698: ~0.10%</li><li>863268: ~0.10%</li><li>863448: ~0.10%</li><li>863959: ~0.10%</li><li>865041: ~0.10%</li><li>868672: ~0.10%</li><li>869359: ~0.10%</li><li>869815: ~0.10%</li><li>869864: ~0.10%</li><li>870006: ~0.10%</li><li>873847: ~0.10%</li><li>874855: ~0.10%</li><li>875455: ~0.10%</li><li>875934: ~0.10%</li><li>876005: ~0.10%</li><li>877473: ~0.10%</li><li>877512: ~0.10%</li><li>880072: ~0.10%</li><li>882074: ~0.10%</li><li>885590: ~0.10%</li><li>886772: ~0.10%</li><li>887054: ~0.10%</li><li>887583: ~0.10%</li><li>887846: ~0.10%</li><li>889563: ~0.10%</li><li>890311: ~0.10%</li><li>890652: ~0.10%</li><li>890788: ~0.10%</li><li>892614: ~0.10%</li><li>893015: ~0.10%</li><li>894787: ~0.10%</li><li>895015: ~0.10%</li><li>896906: ~0.10%</li><li>897667: ~0.10%</li><li>898612: ~0.10%</li><li>899275: ~0.10%</li><li>900194: ~0.10%</li><li>901959: ~0.10%</li><li>903261: ~0.10%</li><li>903423: ~0.10%</li><li>904148: ~0.10%</li><li>906680: ~0.10%</li><li>907621: ~0.10%</li><li>908947: ~0.10%</li><li>910373: ~0.10%</li><li>911582: ~0.10%</li><li>914895: ~0.10%</li><li>919488: ~0.10%</li><li>920951: ~0.10%</li><li>922984: ~0.10%</li><li>928625: ~0.10%</li><li>929210: ~0.10%</li><li>929571: ~0.10%</li><li>930488: ~0.10%</li><li>931267: ~0.10%</li><li>931421: ~0.10%</li><li>931996: ~0.10%</li><li>933406: ~0.10%</li><li>933522: ~0.10%</li><li>934288: ~0.10%</li><li>939321: ~0.10%</li><li>941850: ~0.10%</li><li>949563: ~0.10%</li><li>952528: ~0.10%</li><li>953880: ~0.10%</li><li>953980: ~0.10%</li><li>957520: ~0.10%</li><li>958983: ~0.10%</li><li>960086: ~0.10%</li><li>961220: ~0.10%</li><li>963277: ~0.10%</li><li>963937: ~0.10%</li><li>965088: ~0.10%</li><li>965509: ~0.10%</li><li>965925: ~0.10%</li><li>967656: ~0.10%</li><li>967896: ~0.10%</li><li>968908: ~0.10%</li><li>969036: ~0.10%</li><li>969941: ~0.10%</li><li>970039: ~0.10%</li><li>971348: ~0.10%</li><li>972177: ~0.10%</li><li>972761: ~0.10%</li><li>974874: ~0.10%</li><li>975862: ~0.10%</li><li>976246: ~0.10%</li><li>978726: ~0.20%</li><li>978788: ~0.10%</li><li>978877: ~0.10%</li><li>979127: ~0.10%</li><li>979237: ~0.10%</li><li>980809: ~0.10%</li><li>985746: ~0.10%</li><li>986873: ~0.10%</li><li>987014: ~0.10%</li><li>987764: ~0.10%</li><li>987957: ~0.10%</li><li>988697: ~0.10%</li><li>989482: ~0.10%</li><li>990252: ~0.10%</li><li>991593: ~0.10%</li><li>992630: ~0.10%</li><li>993322: ~0.10%</li><li>993762: ~0.10%</li><li>994319: ~0.10%</li><li>994436: ~0.10%</li><li>995956: ~0.10%</li><li>996198: ~0.10%</li><li>997766: ~0.10%</li><li>997821: ~0.10%</li><li>997952: ~0.10%</li><li>999182: ~0.10%</li><li>1000020: ~0.20%</li><li>1000802: ~0.10%</li><li>1004378: ~0.10%</li><li>1004568: ~0.10%</li><li>1004650: ~0.10%</li><li>1005308: ~0.10%</li><li>1006544: ~0.10%</li><li>1009331: ~0.10%</li><li>1009704: ~0.10%</li><li>1011357: ~0.10%</li><li>1011905: ~0.10%</li><li>1013876: ~0.10%</li><li>1014134: ~0.10%</li><li>1015387: ~0.10%</li><li>1016946: ~0.10%</li><li>1017134: ~0.10%</li><li>1018892: ~0.10%</li><li>1019906: ~0.10%</li><li>1020412: ~0.10%</li><li>1020425: ~0.10%</li><li>1020970: ~0.10%</li><li>1022690: ~0.10%</li><li>1026393: ~0.10%</li><li>1027389: ~0.10%</li><li>1029474: ~0.10%</li><li>1029690: ~0.10%</li><li>1030434: ~0.10%</li><li>1032390: ~0.10%</li><li>1035119: ~0.10%</li><li>1036169: ~0.10%</li><li>1037938: ~0.10%</li><li>1038353: ~0.10%</li><li>1038762: ~0.10%</li><li>1038779: ~0.10%</li><li>1038966: ~0.10%</li><li>1040025: ~0.10%</li><li>1040244: ~0.10%</li><li>1040375: ~0.10%</li><li>1041331: ~0.10%</li><li>1042445: ~0.10%</li><li>1043004: ~0.10%</li><li>1043528: ~0.10%</li><li>1044727: ~0.10%</li><li>1048251: ~0.10%</li><li>1049535: ~0.10%</li><li>1049560: ~0.10%</li><li>1052888: ~0.10%</li><li>1052997: ~0.10%</li><li>1055533: ~0.10%</li><li>1057778: ~0.10%</li><li>1058550: ~0.10%</li><li>1059857: ~0.10%</li><li>1060423: ~0.10%</li><li>1060787: ~0.10%</li><li>1060962: ~0.10%</li><li>1062192: ~0.10%</li><li>1062549: ~0.10%</li><li>1063575: ~0.10%</li><li>1064950: ~0.10%</li><li>1064951: ~0.10%</li><li>1068069: ~0.10%</li><li>1069837: ~0.10%</li><li>1071973: ~0.10%</li><li>1072588: ~0.10%</li><li>1072655: ~0.10%</li><li>1073029: ~0.10%</li><li>1074193: ~0.10%</li><li>1075414: ~0.10%</li><li>1075808: ~0.10%</li><li>1076406: ~0.10%</li><li>1076447: ~0.10%</li><li>1077766: ~0.10%</li><li>1079884: ~0.10%</li><li>1082109: ~0.10%</li><li>1137812: ~0.10%</li><li>1138205: ~0.10%</li><li>1140773: ~0.10%</li><li>1140941: ~0.10%</li><li>1142000: ~0.10%</li><li>1142043: ~0.10%</li><li>1142233: ~0.10%</li><li>1142467: ~0.10%</li><li>1143079: ~0.10%</li><li>1145775: ~0.20%</li><li>1145856: ~0.10%</li><li>1146234: ~0.10%</li><li>1146633: ~0.10%</li><li>1146988: ~0.10%</li><li>1148975: ~0.10%</li><li>1150504: ~0.10%</li><li>1150633: ~0.10%</li><li>1151342: ~0.10%</li><li>1151358: ~0.10%</li><li>1152288: ~0.10%</li><li>1152306: ~0.10%</li><li>1153290: ~0.10%</li><li>1156403: ~0.10%</li><li>1157202: ~0.10%</li><li>1157778: ~0.10%</li><li>1158029: ~0.10%</li><li>1158264: ~0.10%</li><li>1160343: ~0.10%</li><li>1160469: ~0.10%</li><li>1161305: ~0.10%</li><li>1161739: ~0.10%</li><li>1163570: ~0.10%</li><li>1164068: ~0.10%</li><li>1165501: ~0.10%</li><li>1167427: ~0.10%</li><li>1167513: ~0.10%</li><li>1167747: ~0.10%</li><li>1169658: ~0.10%</li><li>1169691: ~0.10%</li><li>1169916: ~0.10%</li><li>1170374: ~0.10%</li><li>1170444: ~0.10%</li><li>1170949: ~0.10%</li><li>1172588: ~0.10%</li><li>1173538: ~0.10%</li><li>1175263: ~0.10%</li><li>1175393: ~0.10%</li><li>1175660: ~0.10%</li><li>1178659: ~0.10%</li><li>1180918: ~0.10%</li><li>1181077: ~0.10%</li><li>1181121: ~0.10%</li><li>1182612: ~0.10%</li><li>1183470: ~0.10%</li><li>1183720: ~0.10%</li><li>1184278: ~0.10%</li><li>1184692: ~0.10%</li><li>1185824: ~0.10%</li></ul>	<ul><li>size: 32 elements</li></ul>	<ul><li>size: 32 elements</li></ul>

• Samples:

The model card is truncated. Read the rest on Hugging Face.