retriever_Uspanteko

CMU-Wav2Gloss/retriever_Uspanteko

retriever_Uspanteko is a sentence similarity model from CMU-Wav2Gloss. Use it when you need a score for how close two texts are. It is set up for sentence-transformers.

This is a sentence-transformers model finetuned from sentence-transformers/LaBSE. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search…

Downloads · 30 days

6% of all-time downloads

All-time downloads

190

Public

Parameters

471M

7.6 GB on disk

Likes

Public

Hugging Face

Repo makeup

Click a slice to open those files.

.safetensors5.7 GB · 60%

At a glance

Task: Sentence Similarity
Library: sentence-transformers
Model type: bert
Access: Public
Created: Mar 15, 2026
Updated: Mar 15, 2026
SHA: 55c8a2ce

Base models

sentence-transformers/LaBSE

Model card

From the Hugging Face model README

SentenceTransformer based on sentence-transformers/LaBSE

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/LaBSE
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (3): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    "Word: r a| Context: r a   j b ' a q i i l   r a   u t i i w .| Translation: El huesito del coyotillo.",
    'Morpheme: r a | Gloss: DIM',
    'Morpheme: p o r k e | Gloss: porque',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.8346, 0.1137],
#         [0.8346, 1.0000, 0.0429],
#         [0.1137, 0.0429, 1.0000]])

Evaluation

Metrics

IR

Dataset: validation
Evaluated with <code>main.IREvaluatorWithLogging</code>

Metric	Value
cosine_accuracy@1	0.6535
cosine_accuracy@3	0.9351
cosine_accuracy@5	0.9606
cosine_accuracy@10	0.9791
cosine_precision@1	0.6535
cosine_precision@3	0.3449
cosine_precision@5	0.2255
cosine_precision@10	0.1256
cosine_recall@1	0.5838
cosine_recall@3	0.8582
cosine_recall@5	0.9008
cosine_recall@10	0.9527
cosine_ndcg@10	0.8189
cosine_mrr@10	0.7922
cosine_map@100	0.7623

Training Details

Training Dataset

Unnamed Dataset

Size: 60,444 training samples
Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>

Approximate statistics based on the first 1000 samples:

	sentence_0	sentence_1	label
type	string	string	int
details	<ul><li>min: 21 tokens</li><li>mean: 49.04 tokens</li><li>max: 116 tokens</li></ul>	<ul><li>min: 11 tokens</li><li>mean: 13.51 tokens</li><li>max: 24 tokens</li></ul>	<ul><li>21: ~0.10%</li><li>64: ~0.10%</li><li>91: ~0.10%</li><li>114: ~0.10%</li><li>118: ~0.10%</li><li>154: ~0.10%</li><li>163: ~0.10%</li><li>176: ~0.10%</li><li>231: ~0.10%</li><li>234: ~0.10%</li><li>299: ~0.10%</li><li>370: ~0.10%</li><li>374: ~0.10%</li><li>376: ~0.10%</li><li>379: ~0.10%</li><li>402: ~0.10%</li><li>432: ~0.10%</li><li>446: ~0.10%</li><li>454: ~0.10%</li><li>499: ~0.10%</li><li>666: ~0.10%</li><li>680: ~0.10%</li><li>714: ~0.10%</li><li>741: ~0.10%</li><li>764: ~0.10%</li><li>833: ~0.10%</li><li>840: ~0.20%</li><li>847: ~0.10%</li><li>1027: ~0.10%</li><li>1044: ~0.10%</li><li>1072: ~0.10%</li><li>1083: ~0.10%</li><li>1085: ~0.10%</li><li>1126: ~0.10%</li><li>1196: ~0.10%</li><li>1277: ~0.10%</li><li>1287: ~0.10%</li><li>1400: ~0.10%</li><li>1402: ~0.10%</li><li>1439: ~0.10%</li><li>1470: ~0.20%</li><li>1483: ~0.10%</li><li>1531: ~0.10%</li><li>1567: ~0.10%</li><li>1570: ~0.10%</li><li>1710: ~0.10%</li><li>1778: ~0.10%</li><li>1786: ~0.10%</li><li>1812: ~0.10%</li><li>1826: ~0.10%</li><li>1854: ~0.10%</li><li>1861: ~0.10%</li><li>1941: ~0.10%</li><li>1950: ~0.10%</li><li>1978: ~0.10%</li><li>2139: ~0.10%</li><li>2146: ~0.10%</li><li>2231: ~0.10%</li><li>2251: ~0.10%</li><li>2255: ~0.10%</li><li>2346: ~0.10%</li><li>2380: ~0.10%</li><li>2409: ~0.10%</li><li>2480: ~0.10%</li><li>2615: ~0.10%</li><li>2709: ~0.10%</li><li>2736: ~0.10%</li><li>2747: ~0.10%</li><li>2778: ~0.10%</li><li>2795: ~0.10%</li><li>2796: ~0.10%</li><li>2800: ~0.10%</li><li>2801: ~0.10%</li><li>2818: ~0.10%</li><li>2872: ~0.10%</li><li>2881: ~0.10%</li><li>2969: ~0.10%</li><li>2997: ~0.10%</li><li>3028: ~0.10%</li><li>3036: ~0.10%</li><li>3054: ~0.10%</li><li>3115: ~0.10%</li><li>3280: ~0.10%</li><li>3290: ~0.20%</li><li>3327: ~0.10%</li><li>3362: ~0.10%</li><li>3375: ~0.10%</li><li>3469: ~0.10%</li><li>3482: ~0.10%</li><li>3507: ~0.10%</li><li>3518: ~0.10%</li><li>3539: ~0.10%</li><li>3568: ~0.10%</li><li>3635: ~0.10%</li><li>3692: ~0.10%</li><li>3712: ~0.10%</li><li>3719: ~0.10%</li><li>3742: ~0.10%</li><li>3761: ~0.10%</li><li>3812: ~0.10%</li><li>3854: ~0.10%</li><li>3867: ~0.10%</li><li>3913: ~0.10%</li><li>3935: ~0.10%</li><li>3948: ~0.10%</li><li>3975: ~0.10%</li><li>3985: ~0.10%</li><li>4015: ~0.10%</li><li>4021: ~0.10%</li><li>4034: ~0.10%</li><li>4178: ~0.10%</li><li>4216: ~0.10%</li><li>4221: ~0.10%</li><li>4250: ~0.10%</li><li>4338: ~0.10%</li><li>4349: ~0.10%</li><li>4362: ~0.10%</li><li>4399: ~0.10%</li><li>4422: ~0.10%</li><li>4440: ~0.10%</li><li>4485: ~0.10%</li><li>4493: ~0.10%</li><li>4496: ~0.10%</li><li>4515: ~0.10%</li><li>4535: ~0.10%</li><li>4568: ~0.10%</li><li>4611: ~0.10%</li><li>4721: ~0.10%</li><li>4885: ~0.10%</li><li>5059: ~0.10%</li><li>5082: ~0.10%</li><li>5102: ~0.20%</li><li>5105: ~0.10%</li><li>5196: ~0.10%</li><li>5197: ~0.10%</li><li>5224: ~0.10%</li><li>5235: ~0.10%</li><li>5252: ~0.10%</li><li>5256: ~0.10%</li><li>5297: ~0.10%</li><li>5394: ~0.10%</li><li>5459: ~0.10%</li><li>5477: ~0.30%</li><li>5498: ~0.20%</li><li>5499: ~0.10%</li><li>5506: ~0.10%</li><li>5512: ~0.10%</li><li>5532: ~0.10%</li><li>5541: ~0.10%</li><li>5586: ~0.10%</li><li>5592: ~0.10%</li><li>5596: ~0.10%</li><li>5605: ~0.10%</li><li>5652: ~0.10%</li><li>5714: ~0.20%</li><li>5719: ~0.10%</li><li>5748: ~0.10%</li><li>5761: ~0.10%</li><li>5785: ~0.10%</li><li>5786: ~0.10%</li><li>5794: ~0.10%</li><li>5825: ~0.10%</li><li>5829: ~0.10%</li><li>5840: ~0.10%</li><li>5844: ~0.10%</li><li>5863: ~0.10%</li><li>5876: ~0.10%</li><li>5881: ~0.10%</li><li>5907: ~0.10%</li><li>5918: ~0.10%</li><li>5924: ~0.10%</li><li>5938: ~0.10%</li><li>5952: ~0.10%</li><li>5991: ~0.10%</li><li>5995: ~0.10%</li><li>6051: ~0.10%</li><li>6056: ~0.10%</li><li>6078: ~0.10%</li><li>6081: ~0.10%</li><li>6145: ~0.10%</li><li>6182: ~0.10%</li><li>6209: ~0.10%</li><li>6219: ~0.10%</li><li>6239: ~0.10%</li><li>6282: ~0.10%</li><li>6287: ~0.20%</li><li>6294: ~0.10%</li><li>6303: ~0.10%</li><li>6340: ~0.10%</li><li>6357: ~0.10%</li><li>6378: ~0.10%</li><li>6437: ~0.10%</li><li>6494: ~0.10%</li><li>6498: ~0.10%</li><li>6504: ~0.10%</li><li>6531: ~0.10%</li><li>6532: ~0.20%</li><li>6593: ~0.10%</li><li>6615: ~0.10%</li><li>6619: ~0.10%</li><li>6631: ~0.10%</li><li>6683: ~0.10%</li><li>6688: ~0.10%</li><li>6698: ~0.10%</li><li>6743: ~0.10%</li><li>6765: ~0.10%</li><li>6817: ~0.10%</li><li>6846: ~0.10%</li><li>6872: ~0.10%</li><li>6874: ~0.10%</li><li>6888: ~0.10%</li><li>6899: ~0.20%</li><li>6909: ~0.10%</li><li>6913: ~0.20%</li><li>6918: ~0.10%</li><li>6920: ~0.10%</li><li>6969: ~0.10%</li><li>6978: ~0.10%</li><li>6979: ~0.10%</li><li>6986: ~0.10%</li><li>6992: ~0.10%</li><li>6997: ~0.10%</li><li>7075: ~0.10%</li><li>7082: ~0.10%</li><li>7095: ~0.10%</li><li>7101: ~0.10%</li><li>7104: ~0.10%</li><li>7106: ~0.10%</li><li>7128: ~0.10%</li><li>7198: ~0.10%</li><li>7219: ~0.10%</li><li>7243: ~0.10%</li><li>7276: ~0.10%</li><li>7292: ~0.10%</li><li>7306: ~0.10%</li><li>7313: ~0.10%</li><li>7315: ~0.20%</li><li>7333: ~0.10%</li><li>7336: ~0.10%</li><li>7357: ~0.10%</li><li>7382: ~0.10%</li><li>7436: ~0.10%</li><li>7441: ~0.10%</li><li>7466: ~0.10%</li><li>7485: ~0.10%</li><li>7497: ~0.10%</li><li>7520: ~0.10%</li><li>7522: ~0.10%</li><li>7571: ~0.10%</li><li>7582: ~0.10%</li><li>7610: ~0.10%</li><li>7709: ~0.10%</li><li>7716: ~0.10%</li><li>7755: ~0.10%</li><li>7770: ~0.10%</li><li>7793: ~0.10%</li><li>7828: ~0.10%</li><li>7871: ~0.10%</li><li>8005: ~0.10%</li><li>8017: ~0.10%</li><li>8037: ~0.10%</li><li>8073: ~0.10%</li><li>8089: ~0.10%</li><li>8111: ~0.10%</li><li>8188: ~0.10%</li><li>8212: ~0.10%</li><li>8231: ~0.10%</li><li>8241: ~0.10%</li><li>8304: ~0.10%</li><li>8334: ~0.10%</li><li>8342: ~0.10%</li><li>8355: ~0.10%</li><li>8395: ~0.10%</li><li>8411: ~0.10%</li><li>8472: ~0.10%</li><li>8496: ~0.10%</li><li>8502: ~0.10%</li><li>8527: ~0.10%</li><li>8609: ~0.10%</li><li>8642: ~0.10%</li><li>8728: ~0.10%</li><li>8803: ~0.10%</li><li>8844: ~0.10%</li><li>8852: ~0.10%</li><li>8878: ~0.10%</li><li>8881: ~0.10%</li><li>8906: ~0.10%</li><li>8968: ~0.10%</li><li>8972: ~0.10%</li><li>9012: ~0.10%</li><li>9070: ~0.10%</li><li>9123: ~0.10%</li><li>9175: ~0.10%</li><li>9208: ~0.10%</li><li>9280: ~0.10%</li><li>9299: ~0.10%</li><li>9335: ~0.10%</li><li>9360: ~0.10%</li><li>9410: ~0.10%</li><li>9419: ~0.10%</li><li>9424: ~0.10%</li><li>9597: ~0.10%</li><li>9605: ~0.10%</li><li>9629: ~0.10%</li><li>9642: ~0.10%</li><li>9671: ~0.10%</li><li>9702: ~0.20%</li><li>9703: ~0.10%</li><li>9741: ~0.10%</li><li>9744: ~0.10%</li><li>9752: ~0.10%</li><li>9769: ~0.10%</li><li>9810: ~0.10%</li><li>9903: ~0.10%</li><li>9905: ~0.10%</li><li>10022: ~0.10%</li><li>10113: ~0.10%</li><li>10168: ~0.10%</li><li>10294: ~0.10%</li><li>10303: ~0.10%</li><li>10348: ~0.10%</li><li>10418: ~0.10%</li><li>10451: ~0.10%</li><li>10503: ~0.10%</li><li>10512: ~0.10%</li><li>10514: ~0.20%</li><li>10592: ~0.10%</li><li>10622: ~0.10%</li><li>10693: ~0.10%</li><li>10815: ~0.10%</li><li>10828: ~0.10%</li><li>10910: ~0.10%</li><li>10958: ~0.10%</li><li>10971: ~0.10%</li><li>10973: ~0.10%</li><li>10994: ~0.20%</li><li>11007: ~0.10%</li><li>11049: ~0.10%</li><li>11050: ~0.10%</li><li>11068: ~0.10%</li><li>11105: ~0.10%</li><li>11115: ~0.10%</li><li>11199: ~0.10%</li><li>11216: ~0.10%</li><li>11232: ~0.10%</li><li>11268: ~0.10%</li><li>11283: ~0.10%</li><li>11366: ~0.10%</li><li>11401: ~0.10%</li><li>11433: ~0.10%</li><li>11558: ~0.10%</li><li>11574: ~0.10%</li><li>11667: ~0.10%</li><li>11719: ~0.10%</li><li>11749: ~0.10%</li><li>11752: ~0.10%</li><li>11799: ~0.10%</li><li>11802: ~0.10%</li><li>11815: ~0.10%</li><li>11826: ~0.10%</li><li>11900: ~0.10%</li><li>12000: ~0.10%</li><li>12111: ~0.10%</li><li>12125: ~0.10%</li><li>12150: ~0.10%</li><li>12212: ~0.10%</li><li>12290: ~0.10%</li><li>12306: ~0.10%</li><li>12319: ~0.10%</li><li>12350: ~0.10%</li><li>12376: ~0.10%</li><li>12458: ~0.10%</li><li>12515: ~0.10%</li><li>12552: ~0.10%</li><li>12597: ~0.10%</li><li>12646: ~0.10%</li><li>12791: ~0.10%</li><li>12810: ~0.10%</li><li>12815: ~0.10%</li><li>12825: ~0.10%</li><li>12840: ~0.10%</li><li>12899: ~0.10%</li><li>12912: ~0.10%</li><li>12931: ~0.10%</li><li>12993: ~0.10%</li><li>13101: ~0.10%</li><li>13124: ~0.10%</li><li>13173: ~0.10%</li><li>13254: ~0.10%</li><li>13255: ~0.10%</li><li>13328: ~0.10%</li><li>13331: ~0.10%</li><li>13414: ~0.10%</li><li>13425: ~0.10%</li><li>13470: ~0.10%</li><li>13479: ~0.10%</li><li>13531: ~0.10%</li><li>13615: ~0.10%</li><li>13637: ~0.10%</li><li>13677: ~0.10%</li><li>13755: ~0.10%</li><li>13799: ~0.10%</li><li>13815: ~0.10%</li><li>13832: ~0.10%</li><li>13898: ~0.10%</li><li>13921: ~0.10%</li><li>13954: ~0.10%</li><li>13958: ~0.10%</li><li>14009: ~0.10%</li><li>14056: ~0.10%</li><li>14059: ~0.10%</li><li>14103: ~0.10%</li><li>14166: ~0.10%</li><li>14288: ~0.10%</li><li>14296: ~0.10%</li><li>14391: ~0.10%</li><li>14443: ~0.10%</li><li>14529: ~0.10%</li><li>14544: ~0.10%</li><li>14567: ~0.10%</li><li>14656: ~0.10%</li><li>14684: ~0.10%</li><li>14727: ~0.10%</li><li>14744: ~0.10%</li><li>14771: ~0.10%</li><li>14793: ~0.10%</li><li>14798: ~0.10%</li><li>14807: ~0.10%</li><li>14815: ~0.10%</li><li>14817: ~0.10%</li><li>14820: ~0.10%</li><li>14948: ~0.10%</li><li>14964: ~0.10%</li><li>15128: ~0.10%</li><li>15155: ~0.10%</li><li>15197: ~0.10%</li><li>15207: ~0.10%</li><li>15279: ~0.10%</li><li>15422: ~0.10%</li><li>15430: ~0.10%</li><li>15454: ~0.10%</li><li>15478: ~0.10%</li><li>15501: ~0.10%</li><li>15504: ~0.10%</li><li>15600: ~0.10%</li><li>15607: ~0.10%</li><li>15643: ~0.10%</li><li>15684: ~0.10%</li><li>15702: ~0.10%</li><li>15735: ~0.10%</li><li>15756: ~0.10%</li><li>15811: ~0.10%</li><li>15926: ~0.10%</li><li>15964: ~0.10%</li><li>15969: ~0.10%</li><li>16083: ~0.10%</li><li>16090: ~0.10%</li><li>16103: ~0.10%</li><li>16116: ~0.10%</li><li>16127: ~0.10%</li><li>16184: ~0.10%</li><li>16223: ~0.10%</li><li>16235: ~0.10%</li><li>16267: ~0.10%</li><li>16350: ~0.10%</li><li>16351: ~0.10%</li><li>16374: ~0.10%</li><li>16405: ~0.10%</li><li>16480: ~0.10%</li><li>16576: ~0.10%</li><li>16686: ~0.10%</li><li>16687: ~0.10%</li><li>16723: ~0.10%</li><li>16780: ~0.10%</li><li>16819: ~0.10%</li><li>16834: ~0.10%</li><li>16920: ~0.10%</li><li>16976: ~0.10%</li><li>17119: ~0.10%</li><li>17234: ~0.10%</li><li>17262: ~0.10%</li><li>17311: ~0.10%</li><li>17312: ~0.10%</li><li>17384: ~0.10%</li><li>17400: ~0.10%</li><li>17406: ~0.10%</li><li>17478: ~0.10%</li><li>17523: ~0.10%</li><li>17542: ~0.10%</li><li>17543: ~0.10%</li><li>17576: ~0.10%</li><li>17641: ~0.10%</li><li>17680: ~0.10%</li><li>17685: ~0.10%</li><li>17714: ~0.10%</li><li>17754: ~0.10%</li><li>17773: ~0.10%</li><li>17782: ~0.10%</li><li>17887: ~0.10%</li><li>17907: ~0.10%</li><li>17939: ~0.10%</li><li>18070: ~0.10%</li><li>18078: ~0.10%</li><li>18180: ~0.10%</li><li>18181: ~0.10%</li><li>18186: ~0.10%</li><li>18260: ~0.10%</li><li>18355: ~0.10%</li><li>18360: ~0.10%</li><li>18362: ~0.10%</li><li>18501: ~0.10%</li><li>18503: ~0.10%</li><li>18511: ~0.10%</li><li>18528: ~0.10%</li><li>18635: ~0.10%</li><li>18638: ~0.10%</li><li>18652: ~0.10%</li><li>18717: ~0.10%</li><li>18725: ~0.10%</li><li>18732: ~0.10%</li><li>18740: ~0.10%</li><li>18769: ~0.10%</li><li>18830: ~0.20%</li><li>18863: ~0.10%</li><li>18893: ~0.10%</li><li>18905: ~0.10%</li><li>18912: ~0.10%</li><li>18930: ~0.10%</li><li>18939: ~0.10%</li><li>18975: ~0.10%</li><li>18984: ~0.10%</li><li>18986: ~0.10%</li><li>18996: ~0.10%</li><li>19034: ~0.10%</li><li>19039: ~0.20%</li><li>19078: ~0.10%</li><li>19080: ~0.10%</li><li>19082: ~0.10%</li><li>19092: ~0.10%</li><li>19119: ~0.10%</li><li>19242: ~0.10%</li><li>19274: ~0.10%</li><li>19323: ~0.10%</li><li>19455: ~0.10%</li><li>19498: ~0.10%</li><li>19558: ~0.10%</li><li>19561: ~0.10%</li><li>19610: ~0.10%</li><li>19639: ~0.10%</li><li>19692: ~0.10%</li><li>19696: ~0.10%</li><li>19757: ~0.10%</li><li>19764: ~0.10%</li><li>19792: ~0.10%</li><li>19822: ~0.10%</li><li>19842: ~0.10%</li><li>19850: ~0.10%</li><li>19861: ~0.10%</li><li>19927: ~0.10%</li><li>19959: ~0.10%</li><li>19971: ~0.10%</li><li>19973: ~0.10%</li><li>20022: ~0.10%</li><li>20085: ~0.10%</li><li>20176: ~0.10%</li><li>20182: ~0.10%</li><li>20349: ~0.10%</li><li>20351: ~0.10%</li><li>20372: ~0.10%</li><li>20382: ~0.10%</li><li>20480: ~0.10%</li><li>20491: ~0.10%</li><li>20493: ~0.10%</li><li>20587: ~0.10%</li><li>20626: ~0.10%</li><li>20680: ~0.10%</li><li>20695: ~0.10%</li><li>20705: ~0.10%</li><li>20770: ~0.10%</li><li>20820: ~0.10%</li><li>20928: ~0.10%</li><li>20943: ~0.10%</li><li>21050: ~0.10%</li><li>21081: ~0.10%</li><li>21086: ~0.10%</li><li>21131: ~0.10%</li><li>21158: ~0.10%</li><li>21230: ~0.10%</li><li>21243: ~0.10%</li><li>21307: ~0.10%</li><li>21403: ~0.10%</li><li>21427: ~0.10%</li><li>21436: ~0.10%</li><li>21478: ~0.10%</li><li>21504: ~0.10%</li><li>21563: ~0.10%</li><li>21610: ~0.10%</li><li>21614: ~0.10%</li><li>21667: ~0.10%</li><li>21695: ~0.10%</li><li>21865: ~0.10%</li><li>21867: ~0.10%</li><li>21895: ~0.10%</li><li>21963: ~0.10%</li><li>22043: ~0.10%</li><li>22050: ~0.10%</li><li>22063: ~0.10%</li><li>22157: ~0.10%</li><li>22184: ~0.10%</li><li>22215: ~0.10%</li><li>22231: ~0.10%</li><li>22249: ~0.10%</li><li>22251: ~0.10%</li><li>22254: ~0.10%</li><li>22301: ~0.10%</li><li>22332: ~0.10%</li><li>22405: ~0.10%</li><li>22406: ~0.10%</li><li>22441: ~0.10%</li><li>22479: ~0.10%</li><li>22496: ~0.10%</li><li>22535: ~0.10%</li><li>22543: ~0.10%</li><li>22592: ~0.10%</li><li>22632: ~0.10%</li><li>22675: ~0.10%</li><li>22697: ~0.10%</li><li>22733: ~0.10%</li><li>22760: ~0.10%</li><li>22773: ~0.10%</li><li>22897: ~0.10%</li><li>22906: ~0.10%</li><li>22908: ~0.10%</li><li>22912: ~0.10%</li><li>22983: ~0.10%</li><li>23033: ~0.10%</li><li>23035: ~0.10%</li><li>23109: ~0.10%</li><li>23200: ~0.10%</li><li>23210: ~0.10%</li><li>23229: ~0.10%</li><li>23251: ~0.10%</li><li>23280: ~0.10%</li><li>23391: ~0.10%</li><li>23403: ~0.10%</li><li>23419: ~0.10%</li><li>23465: ~0.10%</li><li>23475: ~0.10%</li><li>23500: ~0.10%</li><li>23509: ~0.10%</li><li>23514: ~0.10%</li><li>23537: ~0.10%</li><li>23571: ~0.10%</li><li>23609: ~0.10%</li><li>23627: ~0.10%</li><li>23684: ~0.10%</li><li>23744: ~0.10%</li><li>23791: ~0.10%</li><li>23804: ~0.10%</li><li>23817: ~0.10%</li><li>23885: ~0.10%</li><li>23983: ~0.10%</li><li>24038: ~0.10%</li><li>24050: ~0.10%</li><li>24071: ~0.10%</li><li>24088: ~0.10%</li><li>24149: ~0.10%</li><li>24240: ~0.10%</li><li>24366: ~0.10%</li><li>24396: ~0.10%</li><li>24514: ~0.10%</li><li>24522: ~0.10%</li><li>24565: ~0.10%</li><li>24568: ~0.10%</li><li>24571: ~0.10%</li><li>24588: ~0.10%</li><li>24606: ~0.10%</li><li>24616: ~0.10%</li><li>24636: ~0.10%</li><li>24662: ~0.10%</li><li>24680: ~0.10%</li><li>24681: ~0.10%</li><li>24735: ~0.10%</li><li>24737: ~0.10%</li><li>24778: ~0.10%</li><li>24787: ~0.10%</li><li>24789: ~0.10%</li><li>24796: ~0.10%</li><li>24855: ~0.10%</li><li>24972: ~0.10%</li><li>25095: ~0.10%</li><li>25128: ~0.10%</li><li>25173: ~0.10%</li><li>25184: ~0.10%</li><li>25189: ~0.10%</li><li>25207: ~0.10%</li><li>25259: ~0.20%</li><li>25279: ~0.10%</li><li>25344: ~0.10%</li><li>25408: ~0.10%</li><li>25425: ~0.10%</li><li>25477: ~0.10%</li><li>25590: ~0.10%</li><li>25726: ~0.10%</li><li>25937: ~0.10%</li><li>25989: ~0.10%</li><li>26011: ~0.10%</li><li>26012: ~0.10%</li><li>26068: ~0.10%</li><li>26107: ~0.10%</li><li>26230: ~0.10%</li><li>26299: ~0.10%</li><li>26314: ~0.10%</li><li>26330: ~0.10%</li><li>26373: ~0.10%</li><li>26607: ~0.10%</li><li>26619: ~0.10%</li><li>26657: ~0.10%</li><li>26809: ~0.10%</li><li>26824: ~0.10%</li><li>26897: ~0.10%</li><li>26920: ~0.10%</li><li>26930: ~0.10%</li><li>26939: ~0.10%</li><li>27018: ~0.10%</li><li>27035: ~0.10%</li><li>27118: ~0.10%</li><li>27181: ~0.10%</li><li>27225: ~0.10%</li><li>27260: ~0.10%</li><li>27316: ~0.10%</li><li>27352: ~0.10%</li><li>27360: ~0.10%</li><li>27371: ~0.10%</li><li>27376: ~0.10%</li><li>27463: ~0.10%</li><li>27470: ~0.10%</li><li>27534: ~0.10%</li><li>27552: ~0.10%</li><li>27566: ~0.10%</li><li>27659: ~0.10%</li><li>27786: ~0.10%</li><li>27868: ~0.10%</li><li>27889: ~0.10%</li><li>27972: ~0.10%</li><li>28030: ~0.10%</li><li>28046: ~0.10%</li><li>28087: ~0.10%</li><li>28214: ~0.10%</li><li>28263: ~0.10%</li><li>28298: ~0.10%</li><li>28331: ~0.10%</li><li>28346: ~0.10%</li><li>28381: ~0.10%</li><li>28404: ~0.10%</li><li>28417: ~0.10%</li><li>28435: ~0.10%</li><li>28444: ~0.10%</li><li>28448: ~0.10%</li><li>28480: ~0.10%</li><li>28520: ~0.10%</li><li>28538: ~0.10%</li><li>28545: ~0.10%</li><li>28583: ~0.10%</li><li>28614: ~0.10%</li><li>28654: ~0.10%</li><li>28667: ~0.10%</li><li>28671: ~0.10%</li><li>28754: ~0.10%</li><li>28805: ~0.10%</li><li>28806: ~0.10%</li><li>28855: ~0.10%</li><li>28857: ~0.10%</li><li>28862: ~0.10%</li><li>28892: ~0.10%</li><li>28918: ~0.10%</li><li>28922: ~0.10%</li><li>29019: ~0.10%</li><li>29028: ~0.10%</li><li>29059: ~0.10%</li><li>29065: ~0.10%</li><li>29085: ~0.10%</li><li>29100: ~0.10%</li><li>29182: ~0.10%</li><li>29196: ~0.10%</li><li>29232: ~0.10%</li><li>29307: ~0.10%</li><li>29326: ~0.10%</li><li>29368: ~0.10%</li><li>29399: ~0.10%</li><li>29409: ~0.10%</li><li>29415: ~0.10%</li><li>29430: ~0.10%</li><li>29443: ~0.10%</li><li>29447: ~0.10%</li><li>29450: ~0.10%</li><li>29513: ~0.10%</li><li>29580: ~0.10%</li><li>29647: ~0.10%</li><li>29674: ~0.10%</li><li>29748: ~0.10%</li><li>29789: ~0.10%</li><li>29806: ~0.10%</li><li>29844: ~0.10%</li><li>29858: ~0.10%</li><li>29881: ~0.10%</li><li>29974: ~0.10%</li><li>29993: ~0.10%</li><li>30009: ~0.10%</li><li>30011: ~0.10%</li><li>30059: ~0.10%</li><li>30095: ~0.10%</li><li>30099: ~0.10%</li><li>30111: ~0.10%</li><li>30134: ~0.10%</li><li>30152: ~0.10%</li><li>30177: ~0.10%</li><li>30223: ~0.10%</li><li>30238: ~0.10%</li><li>30332: ~0.10%</li><li>30424: ~0.10%</li><li>30456: ~0.10%</li><li>30535: ~0.10%</li><li>30660: ~0.10%</li><li>30672: ~0.10%</li><li>30754: ~0.10%</li><li>30767: ~0.10%</li><li>30777: ~0.10%</li><li>30857: ~0.10%</li><li>30889: ~0.10%</li><li>30963: ~0.10%</li><li>30987: ~0.10%</li><li>31066: ~0.10%</li><li>31082: ~0.10%</li><li>31102: ~0.10%</li><li>31184: ~0.10%</li><li>31263: ~0.10%</li><li>31266: ~0.10%</li><li>31417: ~0.10%</li><li>31421: ~0.10%</li><li>31437: ~0.10%</li><li>31488: ~0.10%</li><li>31544: ~0.10%</li><li>31546: ~0.10%</li><li>31569: ~0.10%</li><li>31781: ~0.10%</li><li>31810: ~0.10%</li><li>31854: ~0.10%</li><li>31871: ~0.10%</li><li>31889: ~0.10%</li><li>31893: ~0.10%</li><li>31894: ~0.10%</li><li>31982: ~0.10%</li><li>32040: ~0.10%</li><li>32049: ~0.10%</li><li>32075: ~0.10%</li><li>32084: ~0.10%</li><li>32108: ~0.10%</li><li>32123: ~0.10%</li><li>32126: ~0.10%</li><li>32199: ~0.10%</li><li>32208: ~0.10%</li><li>32273: ~0.10%</li><li>32330: ~0.10%</li><li>32385: ~0.10%</li><li>32404: ~0.10%</li><li>32413: ~0.10%</li><li>32470: ~0.10%</li><li>32530: ~0.10%</li><li>32542: ~0.10%</li><li>32548: ~0.10%</li><li>32652: ~0.10%</li><li>32653: ~0.10%</li><li>32720: ~0.10%</li><li>32721: ~0.10%</li><li>32763: ~0.10%</li><li>32841: ~0.10%</li><li>32891: ~0.10%</li><li>33012: ~0.10%</li><li>33019: ~0.10%</li><li>33086: ~0.10%</li><li>33228: ~0.10%</li><li>33243: ~0.10%</li><li>33268: ~0.10%</li><li>33311: ~0.10%</li><li>33334: ~0.10%</li><li>33349: ~0.10%</li><li>33366: ~0.10%</li><li>33368: ~0.10%</li><li>33453: ~0.10%</li><li>33572: ~0.10%</li><li>33582: ~0.10%</li><li>33588: ~0.10%</li><li>33633: ~0.10%</li><li>33666: ~0.10%</li><li>33740: ~0.10%</li><li>33805: ~0.10%</li><li>33821: ~0.10%</li><li>33834: ~0.10%</li><li>33898: ~0.10%</li><li>33941: ~0.10%</li><li>33948: ~0.10%</li><li>34051: ~0.10%</li><li>34084: ~0.10%</li><li>34088: ~0.10%</li><li>34107: ~0.10%</li><li>34121: ~0.10%</li><li>34304: ~0.10%</li><li>34375: ~0.10%</li><li>34388: ~0.10%</li><li>34461: ~0.10%</li><li>34490: ~0.10%</li><li>34520: ~0.10%</li><li>34521: ~0.10%</li><li>34639: ~0.10%</li><li>34642: ~0.10%</li><li>34702: ~0.10%</li><li>34732: ~0.10%</li><li>34735: ~0.10%</li><li>34747: ~0.10%</li><li>34827: ~0.10%</li><li>34853: ~0.10%</li><li>34872: ~0.10%</li><li>34957: ~0.10%</li><li>34967: ~0.10%</li><li>35029: ~0.10%</li><li>35157: ~0.10%</li><li>35191: ~0.10%</li><li>35420: ~0.10%</li><li>35440: ~0.10%</li><li>35481: ~0.10%</li><li>35503: ~0.10%</li><li>35563: ~0.10%</li><li>35567: ~0.10%</li><li>35621: ~0.10%</li><li>35656: ~0.10%</li><li>35664: ~0.10%</li><li>35739: ~0.10%</li><li>35790: ~0.20%</li><li>35849: ~0.10%</li><li>35911: ~0.10%</li><li>35924: ~0.10%</li><li>35940: ~0.10%</li><li>35954: ~0.10%</li><li>36057: ~0.10%</li><li>36210: ~0.10%</li><li>36253: ~0.10%</li><li>36345: ~0.10%</li><li>36352: ~0.10%</li><li>36354: ~0.10%</li><li>36472: ~0.10%</li><li>36476: ~0.10%</li><li>36521: ~0.10%</li><li>36528: ~0.10%</li><li>36609: ~0.10%</li><li>36653: ~0.10%</li><li>36664: ~0.10%</li><li>36747: ~0.10%</li><li>36808: ~0.10%</li><li>36862: ~0.10%</li><li>36867: ~0.10%</li><li>36904: ~0.10%</li><li>36912: ~0.10%</li><li>36943: ~0.10%</li><li>37011: ~0.10%</li><li>37026: ~0.10%</li><li>37029: ~0.10%</li><li>37263: ~0.10%</li><li>37274: ~0.10%</li><li>37294: ~0.10%</li><li>37311: ~0.10%</li><li>37314: ~0.10%</li><li>37352: ~0.10%</li><li>37411: ~0.10%</li><li>37427: ~0.10%</li><li>37435: ~0.10%</li><li>37437: ~0.10%</li><li>37442: ~0.10%</li><li>37444: ~0.10%</li><li>37505: ~0.10%</li></ul>

Samples:

sentence_0	sentence_1	label
<code>Word: l i k ' á y b ' a l\| Context: b w e n , n o n q e l i t i b ' i n l o q ' e ' q e l e n w e e l i k ' á y b ' a l\| Translation: Bueno asi es compro cosas en el merrcado.</code>	<code>Morpheme: b ' i l \| Gloss: INS</code>	<code>11799</code>
<code>Word: b ' e l e j e b '\| Context: r i b ' e l e j e b ' i i k ' ,\| Translation: De los nueve meses.</code>	<code>Morpheme: e b ' \| Gloss: NUM</code>	<code>34957</code>
<code>Word: t r a\| Context: D e s p w e s t r a j u u t\| Translation: Después los jutes.</code>	<code>Morpheme: t r a \| Gloss: DIM</code>	<code>9903</code>

Loss: <code>main.LossLogger</code>

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 64
per_device_eval_batch_size: 64
num_train_epochs: 50
fp16: True
multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 64
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 50
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

Epoch	Step	Training Loss	validation_cosine_ndcg@10
0.5291	500	1.0856	0.6291
1.0	945	-	0.6728
1.0582	1000	0.8022	0.6719
1.5873	1500	0.738	0.6894
2.0	1890	-	0.7071
2.1164	2000	0.707	0.7359
2.6455	2500	0.6807	0.7328
3.0	2835	-	0.7411
3.1746	3000	0.6588	0.7200
3.7037	3500	0.6526	0.7550
4.0	3780	-	0.7424
4.2328	4000	0.6243	0.7574
4.7619	4500	0.6239	0.7488
5.0	4725	-	0.7467
5.2910	5000	0.6009	0.7538
5.8201	5500	0.5984	0.7791
6.0	5670	-	0.7724
6.3492	6000	0.5802	0.7861
6.8783	6500	0.5768	0.8024
7.0	6615	-	0.7780
7.4074	7000	0.5731	0.7770
7.9365	7500	0.5665	0.7898
8.0	7560	-	0.7992
8.4656	8000	0.5451	0.7836
8.9947	8500	0.5611	0.7673
9.0	8505	-	0.7622
9.5238	9000	0.5368	0.7548
10.0	9450	-	0.7742
10.0529	9500	0.5409	0.7843
10.5820	10000	0.5277	0.7467
11.0	10395	-	0.7760
11.1111	10500	0.5323	0.7680
11.6402	11000	0.5261	0.7765
12.0	11340	-	0.7807
12.1693	11500	0.511	0.7805
12.6984	12000	0.5133	0.7817
13.0	12285	-	0.7476
13.2275	12500	0.5185	0.7724
13.7566	13000	0.5133	0.7709
14.0	13230	-	0.7621
14.2857	13500	0.5054	0.7880
14.8148	14000	0.5047	0.7531
15.0	14175	-	0.7696
15.3439	14500	0.4995	0.7659
15.8730	15000	0.4968	0.7615
16.0	15120	-	0.7686
16.4021	15500	0.4841	0.7659
16.9312	16000	0.4848	0.7814
17.0	16065	-	0.7766
17.4603	16500	0.4804	0.7737
17.9894	17000	0.4859	0.7809
18.0	17010	-	0.7789
18.5185	17500	0.4749	0.7832
19.0	17955	-	0.7872
19.0476	18000	0.481	0.7815
19.5767	18500	0.4718	0.7730
20.0	18900	-	0.7746
20.1058	19000	0.4721	0.7807
20.6349	19500	0.4702	0.7973
21.0	19845	-	0.7914
21.1640	20000	0.4671	0.7828
21.6931	20500	0.4707	0.7841
22.0	20790	-	0.7919
22.2222	21000	0.4716	0.7913
22.7513	21500	0.4616	0.7752
23.0	21735	-	0.7854
23.2804	22000	0.4657	0.7830
23.8095	22500	0.4557	0.7713
24.0	22680	-	0.7770

The model card is truncated. Read the rest on Hugging Face.

Task: Sentence Similarity
Library: sentence-transformers
Type: bert
Created: Mar 15, 2026
Updated: Mar 15, 2026