gte-small-tr-v2

SentenceTransformer based on Supabase/gte-small

This is a sentence-transformers model finetuned from Supabase/gte-small on the all-nli-pair-class, stsb and x1saint datasets. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Supabase/gte-small <!-- at revision 93b36ff09519291b77d6000d2e86bd8565378086 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Datasets:
  • all-nli-pair-class
  • stsb
  • x1saint
• Language: tr

<!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("x1saint/gte-small-tr-v2")
# Run inference
sentences = [
    'Sonra kaçtı.',
    'Atlet gibi koştu.',
    'Hiç olmamasından çok az sahip olmak daha iyidir.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Semantic Similarity

• Dataset: sts-dev
• Evaluated with <code>EmbeddingSimilarityEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Datasets

all-nli-pair-class

• Dataset: all-nli-pair-class at 67baa14
• Size: 474,283 training samples
• Columns: <code>premise</code>, <code>hypothesis</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	premise	hypothesis	label
  type	string	string	int
  details	<ul><li>min: 19 tokens</li><li>mean: 419.29 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 40 tokens</li><li>mean: 401.34 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>0: ~40.80%</li><li>1: ~42.60%</li><li>2: ~16.60%</li></ul>

• Samples:

  premise	hypothesis	label
  <code>Davacı tarafından davalı aleyhine açılan İtirazın İptali davasının mahkememizde yapılan açık yargılaması sonunda dosya incelendi. AÇILAN DAVA VE İDDİA :Davacı vekilinin dava dilekçesinde özetle; Müvekkilinin EPDK'dan (Enerji Piyasası DenetlemeKurumu) aldığı onay ile Eylül 2012 den bu yana tüm Türkiye'de elektrik enerjisi tedariki ve toptan satış hizmeti sunduğunu, davalıdan da davacı şirket ile akdettiği sözleşmeye binaen müvekkili şirkketten satın aldığı elektrik ödemelerini aksattıığı düzenlenen faturaları ödemedğinden temerrüde düştüğünü, davacı tarafından defalarca uyarılmasına rağmen de borcunu ödemedeğini bunün üzerine müvekkili İstanbul ... İcra müdürlüğünün ... Esas sayılı dosyasıda ilamsız icra takibi başlattığını davalının borca kötü niyetli olarak itiraz ettiğini ve takibin durduğunu itirazın iptali ile takibin devamına davalı hakkında haksız ve kötü niyetli irizları nedeniyle %20 den aşağı olmamak üzere icra inkar tazminatına hükmedilmesine ve yargılama gideri ile vekale...</code>	<code>Davacı vekili dava dilekçesinde özetle;Müvekkili ...'a karşı halihazırda 17/07/2018'de açılmış .... İcra Dairesi'nde ... Esas Sayılı dosya ile devam eden bir icra dosyası bulunduğunu, bu icra dosyası kapsamında 12/11/2018'den beri müvekkilinin maaşına haciz uygulandığını, dosya ödeme emrinde dosyanın dayanağı, "(Kredi kartı borcu) .... İcra-... Esas dosyalarından kaynaklanan alacağın takipte ve tahsilde tekerrür olmamak üzere tahsili talebidir." şeklinde yazıldığını, müvekkili ...'ın, 2003 yılında kimliğinin çalınarak bazı bankacılık ve telefon işlemlerinde kullanıldığını, adına kredi çekildiğini, kredi kartı çıkarıldığını, telefon hattı açıldığını ve o dönemde bu konuda şikayette bulunduğunu, ... Cumhuriyet Başsavcılığı'nca 28/01/2004 suç tarihli ... soruşturma numaralı dosyasına ulaşıldığını, bu dosyada, müvekkilinin şüpheli olarak görünmekte iken şikayetçi ...A.Ş.' olduğunu, yapılan soruşturma sonucunda gerçek şüpheli şahısların ortaya çıkarılamadığı, fakat müvekkilinin suçlu olmad...</code>	<code>0</code>
  <code>Davacı vekili dava dilekçesinde özetle; müvekkili şirket tarafından,----işbu sözleşmeye istinaden düzenlenen ---- ait alüminyum levha emtiasının, davalı taşıyıcı şirket tarafından, ---- tarihinde, dava dışı sigortalı firmanın ------ fabrikasından yüklenildiğini, davalı taşıyıcı firmanın sorumluluğunda, --- nakli gerçekleşen toplam ---; net ağırlığı --- uygun ambalajlar ile nakledilen emtiaların, gümrük işlemleri sonrası--- alıcı şirket tarafından --- tarihinde teslim alındığı ancak teslim esnasında ------paket no’lu levhaların ıslanması sebebi ile emtianın hasara uğramış olduğu tespit edilerek taşıma senedine ihtirazi kayıt düşüldüğü ve bu levhaların hurda edilmek üzere ayrıldığını, davalı taşıyıcı şirketin sorumluluk sahasında gerçekleşen işbu hasar sonrası, bağımsız ve uzman eksper tarafından yapılan incelemelere istinaden tanzim edilmiş olan ekspertiz raporunda; hasar nedeninin, emtianın taşıyıcının sorumluluğunda bulunduğu esnada ıslanarak hasara uğramış olmasından, ıslanan paketi...</code>	<code>Davacı vekili dava dilekçesinde özetle; Müvekkili------- ------------- tarihinde davalının------ aracın çarpması nedeniyle hasara uğradığını, meydana gelen kazada davalının %100 kusurlu olduğunu, müvekkili şirket tarafından zarar gören araç için ------ hasar tazminatı ödendiğini, yapılan incelemeler neticesinde davalının sigortacısı olduğu aracın kusurlu olduğunun tespit edildiğini, kaza neticesinde ------ aracın ---- geldiğini, buna göre aracın piyasa değerinin tespit edildiğini ve tespit edilen değerin ------------ tarafından, kalan ------ ise -----tarafından ödendiğini, ayrıca, -----aracın hasarı sırasında ------ kırılması,---- durdurulamaması nedeniyle ------- hasarın tespitinin de ayrıca gerekli hale geldiğini, bu nedenle müvekkili --------- hasarının tespiti için---------------nedeniyle-------- daha ödendiğini, davalının, kusurlu --------------- nedeniyle davalı tarafa başvurulduğunu, davalı tarafın --------- hiçbir gerekçesi olmaksızın ödemediğini, müvekkili şirket tarafından 1....</code>	<code>1</code>
  <code>Davacı vekili dava dilekçesinde özetle, müvekkili şirketin keşidecisi olduğu ----------------- Taşdelen Şubesine ait, ---- seri numaralı, 17.02.2019 vade tarihli, 50.000,00-TL bedelli çeki lehtara vermek üzere hazırlandığını ancak müvekkili şirket yetkilisinin cüzdanını kaybetmesi suretiyle çeklerin zayi olduğunu, söz konusu çeklerin kötü niyetli üçüncü kişilerin eline geçmesi halinde müvekkilinin mağdur olacağını, bu nedenle ödemeden men talimatı verilmesini ve zayi edilen çekin iptaline dair karar verilmesini talep ve dava etmiştir.</code>	<code>Davacı vekili dava dilekçesinde özetle; ... plakalı araç ... sayılı Genişletilmiş Kasko Sigortası Poliçesi ile müvekkili şirkete, sigortalı olduğunu, hadisenin, 14/06/2017 tarihinde ... plakalı aracın ... ... ... yolu üzerinde seyir halinde iken önünde seyir halinde bulunan sigortalı ... plakalı aracın trafik nedeniyle duraksaması nedeniyle duramayarak çarpması akabinde sigortalı ... plakalı aracın önünde seyir halinde bulunan ... plakalı araca, onun da önünde seyir halinde bulunan ... plakalı araca arkadan çarpması ve bu araçların sırasıyla ... aracın arkaya ... plakalı araca onun da duramayarak ... plakalı araca arkadan çarpması neticesinde çoklu maddi hasarlı trafik kazası meydana gelmiştir, Davalı/Borçlu ... sigortalısı olan ... plakalı aracın, müvekkil şirket sigortalısı olan ... Plakalı araca çarpması neticesinde maddi hasar aldığını, sigortalının, yapmış olduğu başvuru neticesinde Hasar gören sigortalı araca yaptırılan ekspertiz incelemesi sonucunda aracın hasarlı olduğunun tesp...</code>	<code>0</code>

• Loss: <code>SoftmaxLoss</code>

stsb

• Dataset: stsb at daeabfb
• Size: 941,086 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	<ul><li>min: 5 tokens</li><li>mean: 47.0 tokens</li><li>max: 301 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 25.29 tokens</li><li>max: 103 tokens</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.48</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>Kavramsal olarak krem kaymağının iki temel boyutu vardır - ürün ve coğrafya.</code>	<code>Ürün ve coğrafya krem kaymağını işe yarıyor.</code>	<code>0.5</code>
  <code>Mevsim boyunca ve sanırım senin seviyendeyken onları bir sonraki seviyeye düşürürsün. Eğer ebeveyn takımını çağırmaya karar verirlerse Braves üçlü A'dan birini çağırmaya karar verirlerse çifte bir adam onun yerine geçmeye gider ve bekar bir adam gelir.</code>	<code>Eğer insanlar hatırlarsa, bir sonraki seviyeye düşersin.</code>	<code>1.0</code>
  <code>Numaramızdan biri talimatlarınızı birazdan yerine getirecektir.</code>	<code>Ekibimin bir üyesi emirlerinizi büyük bir hassasiyetle yerine getirecektir.</code>	<code>1.0</code>

• Loss: <code>CoSENTLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

x1saint

• Dataset: x1saint at 85ac563
• Size: 1,523 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	<ul><li>min: 5 tokens</li><li>mean: 42.14 tokens</li><li>max: 353 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 40.23 tokens</li><li>max: 172 tokens</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.69</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>George Orwell, 1903 yılında Hindistan'ın Bengal bölgesinde doğdu.</code>	<code>George Orwell, Montihari şehrinde doğmuştur.</code>	<code>0.8</code>
  <code>Orwell, Eton College'de eğitimini tamamladı.</code>	<code>Orwell öğrenimini Eton College'de bitirdi.</code>	<code>1.0</code>
  <code>George Orwell, İngiltere yönetimine karşı çıkarak Hindistan Polisi görevinden istifa etti.</code>	<code>Orwell, İmparatorluk yönetiminin iç yüzünü görünce istifayı tercih etti.</code>	<code>0.8</code>

• Loss: <code>CoSENTLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Evaluation Datasets

all-nli-pair-class

• Dataset: all-nli-pair-class at 67baa14
• Size: 5,000 evaluation samples
• Columns: <code>premise</code>, <code>hypothesis</code>, and <code>label</code>
• Approximate statistics based on the first 1000 samples:

  	premise	hypothesis	label
  type	string	string	int
  details	<ul><li>min: 74 tokens</li><li>mean: 420.94 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 43 tokens</li><li>mean: 406.85 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>0: ~44.30%</li><li>1: ~39.00%</li><li>2: ~16.70%</li></ul>

• Samples:

  premise	hypothesis	label
  <code>Davacı vekili dava dilekçesinde özetle; Davacı şirketin taşıyan sıfatıyla davalı şirkete ait yükü kendisi ile yapılan taşıma sözleşmesi uyarınca ... Limanından ... tarihinde yükleyerek .../ ... Limanı’na taşıdığını ve yükü ihtiva eden 3 adet konteyneri liman sahasına kapalı ve mühürlü olarak ... tarihinde gemiden tahliye ettiğini, ... numaralı konişmentoda belirtildiği üzere, söz konusu deniz taşıma işinde davacı şirkete ait ‘...’ numaralı 3 adet konteynerin kullanıldığını, taşıma konusu yüklere ilişkin varış ihbarlarının düzenlendiğini ve yüklerin tahliye edildiğini, bugüne dek söz konusu yüklerin teslim alınmadığını, yüklerin konişmentolarda öngörülen süre içerisinde gönderilen tarafından teslim alınmaması nedeniyle, davacı şirket tarafından yapılan bütün iyiniyetli girişimlerin sonuçsuz kaldığını, aradan geçen yaklaşık 11 aylık süre zarfında yükün teslim alınmadığını, konteynerlerin tahliye edilmediğini, konteynerlerin tahliye edilmemesi üzerine davacı taşıyan şirket çalışanı tarafı...</code>	<code>Davacı vekili dava dilekçesinde özetle; Davalı tarafın taşıyan müvekkili ... A/Ş vasıtası ile ... numaralı konişmento tahtında ... numaralı 1 adet 40'lık REEFER tip konteyner muhteviyatı yükünü Hindistan'ın Cochin Limanından Gemlik Limanı' na denizyolu ile taşıttığını, bu taşımalarda davalı yanın ithalatçı ve taşımaya ilişkin konişmentoya göre yük alıcısı konumunda olduğunu, davalının ithalatçısı ve yük alıcısı olduğu ... numaralı konişmento tahtında taşınan 1 adet 40 'lık reefer konteynerin yükleme limanı olan Hindistan' in Cochin Limanı' nda 11.07.2017 tarihinde gemiye yüklendiğini ve 28.08.2017 tarihinde Gemlik ... Limanı' nda gemiden tahliye edildiğini, davalının ... numaralı konişmento tahtında taşman emtiaları tahliye limanı olan Gemlik Limanı' na ulaşmadan önce davalıya bir örneği delil listelerinde sunulan "..." yani "Varış İhbarnamesi" gönderildiği ve davalının yükünün 28.08.2017 tarihinde Gemlik Limanı' na ulaşacağının ihbar edildiğini, tahliye limanındaki konteyner muhtevi...</code>	<code>1</code>
  <code> Davacı vekili dava dilekçesinde özetle; Davacı ... A.Ş.'nin 1986 yılından beri Irak piyasasında iş yapan ve gerek iş ahlakı ve gerekse dürüstlüğüyle tanınan ve dolayısıyla Irak'ta yapılacak yeni bir iş olduğunda, ilk haberdar edilen bir firma olduğunu, 1989 yılında da İrak'a daimi ofisini açtığını, 2001 yılında ilgili bakanlığın davacı şirketten Saf Bakır Şerit talebinde bulunduğunu, davacının da bunu temin etmek için davalı şirketle ilişki kurduğunu, davalı şirketin Irak'ın talep ettiği spesifikasyonda mal üretecek araca sahip bulunmadığını beyan etmesi üzerine, davacı şirketin bu konuda da yardımcı olduğunu ve üretimi gerçekleştirecek makinelerin davalı tarafından teminine hem teknolojik bilgi ve hem de maddi katkıda bulunduğunu, böylelikle ilk olarak 2002 yılında, davalının ürettiği malların davacı şirket tarafından Irak'a pazarlandığını, bu arada Amerika Irak'ı istila edince, ilişkilerin bir süre askıda kaldığını ve nihayet 2006 yılında Irak Sanayi Bakanlığı'nın davacı şirketi yen...</code>	<code>Haksız rekabete ilişkin<br>bu Kısım hükümlerinin amacı, bütün katılanların menfaatine, dürüst ve bozulmamış<br>rekabetin sağlanmasıdır.Rakipler arasında veya tedarik edenlerle müşteriler<br>arasındaki ilişkileri etkileyen aldatıcı veya dürüstlük kuralına diğer şekillerdeki<br>aykırı davranışlar ile ticari uygulamalar haksız ve hukuka aykırıdır.</code>	<code>2</code>
  <code> Davacı vekili dava dilekçesinde özetle; Müvekkili şirketin perakende sektöründe ağırlıklı olarak elektronik cihazların satışı işiyle iştigal ettiğini ve tüketiciler tarafından çeşitli şikayetlerle kendisine teslim edilen ürünleri, teknik servis olarak faaliyet gösteren belirli şirketlere onarım için yönlendirdiğini, bu lojistik faaliyetlerin zaman zaman, kargo şirketi olarak faaliyet gösteren davalı taraf ile gerçekleştirildiğini, ... A.Ş.'nin, müvekkili şirketin ticari ilişkileri kapsamında belirli ürünlerini teslim ettiği bir yetkili teknik servis olarak faaliyet gösterdiğini ve belirli cihazları onarım için teslim aldıktan sonra yine müvekkili şirkete teslim ettiğini, bu operasyonların dış lojistik tarafının da ...'nin anlaşmalı olduğu kargo şirketi olan davalı taraf ile gerçekleştirildiğini, bu ticari ilişki sebebi ile yedi adet cep telefonun da onarım için ...’ne gönderildiğini ve ...’nde işleme tabi tutulan 7 adet telefonların gönderici sıfatı ile ... tarafından müvekkili şirket...</code>	<code>Zarara, kasten veya<br>pervasızca bir davranışla ve böyle bir zararın meydana gelmesi ihtimalinin bilinciyle<br>işlenmiş bir fiilinin veya ihmalinin sebebiyet verdiği ispat edilen taşıyıcı veya<br>879 uncu maddede belirtilen kişiler, bu Kısımda öngörülen sorumluluktan kurtulma<br>hâllerinden ve sorumluluk sınırlamalarından yararlanamaz.</code>	<code>2</code>

• Loss: <code>SoftmaxLoss</code>

stsb

• Dataset: stsb at daeabfb
• Size: 19,649 evaluation samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	<ul><li>min: 4 tokens</li><li>mean: 45.29 tokens</li><li>max: 304 tokens</li></ul>	<ul><li>min: 6 tokens</li><li>mean: 24.86 tokens</li><li>max: 92 tokens</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.5</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>Yeni haklar yeterince güzel.</code>	<code>Herkes gerçekten en yeni faydaları seviyor</code>	<code>0.5</code>
  <code>Bu site, tüm ödül kazananların bir listesini ve Hükümet Yönetici makalelerinin aranabilir bir veritabanını içerir.</code>	<code>Web sitesinde yer alan Hükümet Yürütme makaleleri aranamaz.</code>	<code>0.0</code>
  <code>Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum.</code>	<code>Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum.</code>	<code>1.0</code>

• Loss: <code>CoSENTLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

x1saint

• Dataset: x1saint at daeabfb
• Size: 19,649 evaluation samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	<ul><li>min: 4 tokens</li><li>mean: 45.29 tokens</li><li>max: 304 tokens</li></ul>	<ul><li>min: 6 tokens</li><li>mean: 24.86 tokens</li><li>max: 92 tokens</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.5</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>Yeni haklar yeterince güzel.</code>	<code>Herkes gerçekten en yeni faydaları seviyor</code>	<code>0.5</code>
  <code>Bu site, tüm ödül kazananların bir listesini ve Hükümet Yönetici makalelerinin aranabilir bir veritabanını içerir.</code>	<code>Web sitesinde yer alan Hükümet Yürütme makaleleri aranamaz.</code>	<code>0.0</code>
  <code>Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum.</code>	<code>Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum.</code>	<code>1.0</code>

• Loss: <code>CoSENTLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 3e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.0
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers and SoftmaxLoss

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->