legal-ko-v7

SentenceTransformer

This is a sentence-transformers model trained on the pairs and verified datasets. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: dragonkue/BGE-m3-ko
• Maximum Sequence Length: 384 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Datasets:
  • pairs
  • verified
• Language: ko
• License: mit

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    '기계가 부숴졌는데 휴업 중이었고 바로 다른 기계로 영업할 수 있었으면 그 파손과 손해 사이에 인과관계가 안 되나요?',
]
documents = [
    '손해배상청구사건 기계 파손 당시 원고가 영업을 휴업중에 있었고 파손당한 기계등이 대체물로서 원고가 파손직후 타 기계등을 구득하여 영업을 계속하려면 할 수 있었을 사정등이 인정된다면 기계파손과 손해발생과는 상당인과관계를 인정할 수 없다.',
    '가차압이의 채권자가 자기채권의 보전을 위하여 채권자대위권을 행사할 수 있는 경우에는 그 청구권에 관한 강제집행의 보전을 위하여 가압류 또는 가처분 명령의 신청도 이를 할 수 있다',
    '업무상횡령,배임,귀속재산처리법위반피고 가. 귀속기업체의 운영에 관하여 기부, 상여 등 지출에 있어서는 사업계획으로서 포괄적 승인을 얻지 않은 이상 사전승인 없이는 이를 지출할 수 없는 것이다. 나. 6.25사변과 같은 사태로서 당국의 승인을 얻을 수 없고 또 그 지출에 긴급을 요하는 경우에는 그 소재지방장관에 대한 당국의 위임이 없다할 지라도 관리인이 소재지의 지방장관의 승인을 얻어 지출한 행위는 위법이라 논할 수 없는 것이다.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.9049, -0.1116,  0.0746]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Dataset: legal-hard-slice
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Datasets

pairs

• Dataset: pairs
• Size: 134,996 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	<ul><li>min: 17 tokens</li><li>mean: 28.93 tokens</li><li>max: 45 tokens</li></ul>	<ul><li>min: 49 tokens</li><li>mean: 125.15 tokens</li><li>max: 384 tokens</li></ul>

• Samples:

  anchor	positive
  <code>계약금을 이미 받았는데도 상대방이 계약 취소할 수 있나요?</code>	<code>소유권이전등기청구사건 당사자의 일방이 계약이행에 착수한 후에는 해제권 행사를 할 수 없으므로 내입금이 지불된 후에는 상대방은 계약해제권 행사를 하지 못한다.</code>
  <code>우리 회사가 이행 시작했는데 고객이 내입금 받고 나서 해약통보 왔어요, 효력 있나요?</code>	<code>소유권이전등기청구사건 당사자의 일방이 계약이행에 착수한 후에는 해제권 행사를 할 수 없으므로 내입금이 지불된 후에는 상대방은 계약해제권 행사를 하지 못한다.</code>
  <code>내입금 지급된 뒤에 매도인이 계약해제 한다며 거절하면 어떻게 되나요?</code>	<code>소유권이전등기청구사건 당사자의 일방이 계약이행에 착수한 후에는 해제권 행사를 할 수 없으므로 내입금이 지불된 후에는 상대방은 계약해제권 행사를 하지 못한다.</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "mini_batch_num_tokens": null,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

verified

• Dataset: verified
• Size: 17,560 training samples
• Columns: <code>anchor</code>, <code>positive</code>, <code>negative_0</code>, <code>negative_1</code>, <code>negative_2</code>, and <code>negative_3</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative_0	negative_1	negative_2	negative_3
  type	string	string	string	string	string	string
  modality	text	text	text	text	text	text
  details	<ul><li>min: 16 tokens</li><li>mean: 26.99 tokens</li><li>max: 43 tokens</li></ul>	<ul><li>min: 38 tokens</li><li>mean: 107.4 tokens</li><li>max: 384 tokens</li></ul>	<ul><li>min: 40 tokens</li><li>mean: 195.63 tokens</li><li>max: 384 tokens</li></ul>	<ul><li>min: 43 tokens</li><li>mean: 187.14 tokens</li><li>max: 384 tokens</li></ul>	<ul><li>min: 40 tokens</li><li>mean: 197.69 tokens</li><li>max: 384 tokens</li></ul>	<ul><li>min: 41 tokens</li><li>mean: 210.3 tokens</li><li>max: 384 tokens</li></ul>

• Samples:

  anchor	positive	negative_0	negative_1	negative_2	negative_3
  <code>양자로 입양 보낸 아들이 친아버지 죽고 난 소송 이어받을 수 있나요?</code>	<code>토지소유권이전등기 타인의 양자로 출계한 자는 그 생부의 상속인이라 할 수 없음으로 생부가 사망한 경우에는 그 생부의 소송을 수계할 자격이 없다.</code>	<code>친생자관계부존재확인 가. 민법상 양자는 양친의 존속 또는 연장자가 아니면 충분하고 구 민법시행 당시 양자제도의 관습이던 양자는 양부의 자와 동일한 항렬에 있는 근친의 남자이어야 한다는 소목지서의 원칙에 따를 필요가 없으며 양자는 양친과 형제항렬에 있거나 자 또는 손자의 항렬에 있거나를 묻지 않고 허용되므로 재종손자를 양자로 입양하는 행위가 공서양속에 반한다고 할 수 없다. 나. 인사소송법 제35조에 의하여 친자관계존부확인의 소에 준용되는 같은법 제26조는 당사자 및 그 법정대리인 또는 민법 제777조의 규정에 의한 친족을 제소권자로 명시하고 있으므로 위 소정의 친족은 특단의 사정이 없는 한 그와 같은 신분관계를 가졌다는 사실만으로써 당연히 친자관계존부확인의 소를 제기할 소송상의 이익이 있다.</code>	<code>파양 가.파양사건은 신분관계의 소멸에 관련된 중대한 사항으로 당사자가 대립하는 소송사건이므로 원칙적으로 피고의 주소가 있는 국가에 이른바 국제재판관할권을 인정함이 타당하나, 대한민국 국적을 가지고 대한민국에 주소를 두고 있는 양자가 미합중국 국적을 가지고 오하이오주에 주소를 두고 있는 양부의 유기를 이유로 파양청구를 한 경우에는 양자의 주소가 있는 우리나라에도 재판관할권이 있다고 할 것이며, 양부가 대한민국 내에 주소, 거소 또는 최후주소가 없다면 대법원 소재지의 가정법원이 관할법원이 된다. 나. 전항의 경우 준거법은 섭외사법 제21조 제2항, 제2조 제3항에 의하여 양부의 본국법인 미합중국 오하이오주의 법률이라고 할 것이나, 오하이오주 법에 의하면 파양제도가 인정되지 않기 때문에 위 법에 준거하는 한 어떠한 경우에도 파양을 할 수가 없는바, 이러한 입법례도 이른바 완전부양제를 채택한 결과로서 그 나름대로의 합리적인 근거가 없다 할 수 없으나, 입양 이후 미합중국에 거주하고 있는 양부가 양자를 성년에 이르도록 부양하지 않았을 뿐만 아니라 한번도 상면하지 않고 있는 경우에까지 파양을 인정하지 않는다면 양부의 유기에 의하여 전혀 실체를 갖고 있지 않은 양친자관계가 양자의 의사에 반하여 영속되어 장래 당사자 사이에 서로 예기하지도 않고 희망하지도 않는 상속, 부양 등과 같은 여러가지 법률관계가 발생하도록 하는 부당한 결과가 생길 수 있어 양자의 복지를 최우선으로 하는 양자제도의 취지에 비추어 선량한 풍속 기타 사회질서에 반하므로, 위 사건에 관하여는 섭외사법 제5조에 의하여 외국법으로서 양친의 본국법인 미합중국 오하이오주법을 적용하지 아니하고 파양을 인정하는 법정지법인 우리나라 민법을 적용하여야 한다. 다. 양자관계는 양부모 각자와 양자 사이에 별개로 성립하는 것이고 또한 법률상 파양에 관하여 부부공동파양을 강제하는 명문의 규정이 없을 뿐만 아니라 개인 의사를 존중한다는 원칙 아래 자를 위한 양자제도를 취하고 있는 양자법의 취지에 비추어 양부모의 양자에 대한 2개의...</code>	<code>친양자입양신청 민법 제908조의2 제1항 제3호의 규정에 의하면, 어떤 부모의 친생자가 다른 부부에게 양자로 입양된 후 다시 다른 부부에게 친양자로 입양되려면 친생부모의 동의와 양부모의 동의가 모두 필요하다고 해석된다. 甲이 乙에 대하여 이혼을 원인으로 한 재산분할금을 받을 것을 조건으로 친양자 입양에 동의하겠다고 주장한 사안에서, 甲은 자(子)를 양육할 의사가 없고 앞으로도 그러한 상태가 계속될 것으로 예견되므로 자(子)의 복리라는 관점에서 보면 甲이 친양자 입양에 동의하지 않는 것은 민법 제908조의2 제1항 제3호가 정한 ‘사망 그 밖의 사유로 동의할 수 없는 경우’에 해당한다고 봄이 상당하다고 한 사례.</code>	<code>친생자관계부존재확인 가. 민법은 존속 또는 연장자를 양자로 하지 못하도록 규정하고 있을 뿐 소목지서를 요구하고 있지는 아니하므로 재종손자를 사후양자로 선정하는 행위가 위법하다고 할 수 없고, 사후양자가 소목지서에 어긋나는 것이 우리의 종래의 관습에 어긋난다고 하여도 민법은 위와 같이 양자의 요건을 완화하고 있으므로 이것이 공서양속에 위배되어 무효라고 할 수 없다. 나. 구 인사소송법(1990.12.31. 법률 제4300호로 폐지되기 전의 것) 제35조에 의하여 준용되는 같은 법 제26조에 의하면 당사자 및 그 법정대리인 또는 민법 제777조의 규정에 의한 친족은 언제든지 친생관계부존재확인의 소를 제기할 수 있다고 규정하고 있으므로, 여기에 해당하는 신분을 가진 자는 당사자적격이 있고, 특별한 사정이 없는 한 그와 같은 소를 제기할 소송상의 이익이 있고, 별도의 이해관계를 가질 것을 필요로 하지 않는다고 할 것이다.</code>
  <code>국가보안법 가입 죄랑 협의 죄가 죄 성질이 같은지 궁금한데요.</code>	<code>국가보안법위반 국가보안법 제1조 제3호의 결사는 국헌을 위배하여 정부를 잠칭하거나 국가를 변난할 목적으로 조직된 단체를 말하고 동법 제3조의 협의는 판시목적사항의 실행을 논의 또는 연락하는 일체의 행위를 말하는 것이므로 석결사 가입과 협의는 그 목적과 대상하는 법익이 동일하여 그 죄질이 같음으로 단기간내 양행위를 반복한 이상 형법 제55조를 적용처단할 것이요 병합죄로 처단할 것이 아니다 .</code>	<code>국가보안법위반및간첩미수피고 가. 간첩예비죄에 구형법 제88조만을 인용하여도 동법 제85조는 그 내용이된 것이므로 동 법조를 인용하지 아니하였다 하여 의율의 위법이라 할 수 없다. 나. 북한괴뢰 정치보위국 상부원과 소위 접선방법을 협의한 사실만으로는 국가보안법위반으로 인정할 수 있으나 간첩행위라 할 수 없다. 다. 민주학생연맹에 가입한 사실이 국가보안법 시행전이라 하더라도 동법 시행후 탈퇴한 사실이 없고 그 가입상태가 계속된 것으로 인정될 때에는 동 법조를 적용하여야 한다. 군법회의도 일종의 사법기관인 이상 동 회의의 확정판결은 형사소송법상 확정판결과 동일하게 봄이 타당하다.</code>	<code>국가보안법위반 국가보안법 제6조 제2항 소정의 잠입·탈출죄에 있어서의 지령을 받는다고 함은 반국가단체 또는 그 구성원으로부터 직접 지령을 받는 경우뿐만 아니라 그 지령을 받는 자로부터 다시 지령을 받는 경우까지를 포함하는 것이고, 또한 그 지령은 지시와 명령을 포함하는 개념으로서 반드시 상명하복의 지배관계가 있을 것을 요하지 아니하고 그 지령의 형식에도 아무런 제한이 없다. 반국가단체의 지배하에 있는 지역으로부터 국내에 잠입하면 잠입죄가 성립되는 것이며 탈출 당시 다시 들어올 목적이 있었는지 은밀히 들어온 것인지 여부는 잠입·탈출죄의 성립에 영향이 없다. 남한과 북한을 왕래하는 행위가 남북교류협력에관한법률 제3조에 해당되어 국가보안법이 배제되기 위하여는 우선 그 왕래행위가 남북교류와 협력을 목적으로 하는 것이라야 할 것이다. 국가보안법 제5조 제2항 소정의 금품수수죄는 반국가단체의 구성원 또는 그 지령을 받은 자로부터 받는 금품의 가액이나 가치 또는 금품수수의 목적은 가리지 아니하나, 그 구성요건상 국가의 존립, 안전이나 자유민주적 기본질서를 위태롭게 한다는 정을 알면서 반국가단체의 구성원 또는 그 지령을 받은 자로부터 금품을 수수하여야 한다고 할 것이므로, 금품의 수수행위가 국가의 존립, 안전이나 자유민주적 기본질서를 위태롭게 할 위험이 없는 경우에는 금품수수죄로 처벌할 수 없다.</code>	<code>국가보안법위반,집회및시위에관한법률위반,폭력행위등처벌에관한법률위반,경범죄처벌법위반 가. 구 국가보안법(1991.5.31. 법률 제4373호로 개정되기 전의 것) 제10조의 불고지죄는 본범이 같은 법 제3조 내지 제9조의 죄를 범한 자임을 확실히 인식하고서도 이를 수사정보기관에 고지하지 아니함으로써 성립한다. 나. 유죄판결 이유에서 명시한 증거요지로서 “판시사실에 일부 부합하는 진술 및 진술기재”라는 정도로 설시한 것은 정당하고 증거요지를 더 이상 자세하게 설시하지 아니하였다 하여 위법하다 할 수 없다. 다. 반국가단체의 구성원과의 단순한 대면이나 그의 목적수행을 위한 활동과는 아무런 관련이 없는 전연 다른 의도하에서의 모임이나 순수한 인도적 의미에서의 도움은 같은 법 소정의 회합죄에 해당하지 아니한다.</code>	<code>국가보안법위반(편의제공) 국가보안법의 목적이 국가의 안전을 위태롭게 하는 반국가활동을 규제함으로써 국가의 안전과 국민의 생존 및 자유를 확보하는 데 있는 점, 1991년에 국가보안법상 잠입·탈출죄 등의 구성요건에 ‘국가의 존립·안전이나 자유민주적 기본질서를 위태롭게 한다는 정을 알면서’라는 주관적 요건을 추가하는 개정이 이루어진 점, 국가보안법에서 정한 ‘국가의 존립·안전이나 자유민주적 기본질서를 위태롭게 한다는 정을 알면서’라는 구성요건은 ‘국가의 존립·안전이나 자유민주적 기본질서에 위해를 줄 명백한 위험이 있을 경우’만 해당되는 것으로 축소 적용하여야 하는 점 등을 종합하여 보면, 모든 잠입·탈출행위, 특히 북한으로의 밀입북행위가 모두 국가보안법상 잠입·탈출죄를 구성하는 것은 아니고, 국가의 존립·안전이나 자유민주적 기본질서에 위해를 줄 명백한 위험이 있는 잠입·탈출행위만이 잠입·탈출죄를 구성한다. 피고인이, 甲이 북한지역으로 밀입북하였다가 다시 대한민국으로 잠입하거나 이를 시도하는 자라는 정을 알면서 甲의 입북 및 탈북을 도와주기 위하여 자금과 노력 등 편의를 제공하였다고 하여 국가보안법 위반으로 기소된 사안에서, 甲 스스로가 탈북자로서 대한민국의 자유민주적 기본질서에 불만을 가지고 남한생활에 환멸을 느껴 다시 북한에 돌아가 거주하기 위해 밀입북하였다거나 북한의 독재체제에 동조하였다고 볼 자료가 없는 점에 비추어 甲이 자신의 친지나 지인 등의 탈북을 도와주고 대가를 받기 위하여 밀입북한 행위를 국가의 존립·안전이나 자유민주적 기본질서에 위해를 줄 명백한 위험이 있는 행위라고 보기 어려우므로, 피고인의 행위는 국가보안법상 편의제공죄를 구성하지 않는다고 한 사례.</code>
  <code>소작료로 받기로 한 곡식이 없어졌으면 현물로 안 줘도 청구할 수 있나요?</code>	<code>정조지급 불특정대체물의 지급청구에 있어 현물의 존재치 아니한 이유로 청구를 배척함은 채무변제의 법리를 오해한 위법판결이다.</code>	<code>양곡매매업허가취소처분취소 가. 소원장의 서식에 결함이 있음을 이유로 그 보정기간을 정하여 환부되었으나 보정기간내에 소원장을 다시 제출하지 아니하였다 하더라도 그 보정기간 경과로 당연히 그 소원이 취하된 것으로 간주되는 것이 아니라, 재결행정청은 그 소원을 취하된 것으로 간주할 수 있음에 불과하므로, 재결행정청이 그 소원을 취하된 것으로 간주하기 전에 그 결함을 보정한 소원장을 다시 제출하였다면 그 소원은 적법한 것으로 치유되었다고 해석함이 상당하다. 나. 일반양곡과 정부양곡이 혼합된 쌀을 소매용으로 점포에 진열하여 양곡부정유통거래를 하였다 하더라도, 스스로 혼합한 것이 아니라 도매상으로부터 혼합되어 있는 쌀을 매수한 것이며, 17년간 양곡소매업을 하여 왔으나 한번도 양곡관리법 위반사실이 없었고 양곡소매상 경영으로 6식구의 생계를 유지하고 있는 사정 등을 참작할 때 영업허가를 취소한 처분은 감독권 남용이나 그 범위의 일탈의 경우에 해당한다.</code>	<code>하천공작물설치허가취소 가. 구 소원법 (1984.12.15 법률 제3755호 행정심판법에 의하여 폐지된 법률)에서 규정하고 있는 소원은 엄격한 형식을 요하지 않는 서면행위라고 해석되므로 위법 또는 부당한 행정처분으로 인하여 권리나 이익을 침해당한 자로부터 법정기간내에 그 행정청에 그 처분의 취소 또는 변경을 구하는 취지의 서면이 제출되었을 때에는 그 표제와 표시된 제출기간 여하를 불문하고 이를 구 행정소송법(1984.12.15 법률 제3754호로 개정되기 전의 것) 제2조 소정의 소원으로 보아야 할 것이다. 나. 처분청으로부터 공작물 설치 허가를 받은 자가 그 허가대로 공작물을 설치하게 되면 저수가 되어 진정인 경영의 광산이 물에 잠겨 채광을 할 수 없게 되니 이 문제를 잘 처리하여 달라는 내용의 진정서는 장차 발생될 손해보상 등의 조치를 강구하여 달라는 취지로 볼 것이 아니라 그 처분의 취소 또는 변경을 구하는 취지라고 보아야 할 것이다. 다. 소원인이 재결서를 송달받은 일자가 분명하지 아니한 경우에는 소원인은 늦어도 위 재결에 대한 이의신청 작성일 이전에 재결서를 송달받았다고 볼 것이지만 그 구체적 시기에 관하여 특별한 사정이 없다면 재결 성립일자에 근접한 무렵이라고 보는 것이 상당하다</code>	<code>소유권이전등기말소등청구사건 1. 신탁자를 대위하여 피고에게 소유권이전등기의 말소를 구하는 전소와 피고에게 신탁계약해지를 원인으로 직접 소유권이전등기절차이행을 구하고 예비적으로 피고에게 신탁계약해지를 이유로 신탁자를 대위하여 전소유자에 대하여 이전등기말소의 이행을 구하는 본건 소는 그 청구취지를 달리하고 있고 전소의 기판력이 본건 소에 미친다고 할 수 없다. 2. 경작할 의사도 없고 사실상 경작할 수도 없으면서 채권담보의 목적으로 양도받아 소유권이전등기를 경료한 경우 그 농지취득은 강행법규에 위반한 것으로서 무효이다.</code>	<code>소유권이전등기청구사건 소작중인 농지를 농지소유자가 타에 매도하는 대신 다른 농지를 매수하여 소작인에게 소작하게 하되 농지소유자가 위 소작계약을 불이행하는 경우에는 원래 소작중이던 농지의 일부를 소작인에게 증여하기로 약정하였다면 위 소작계약 및 그것을 전제로 한 위 증여계약은 농지개혁법 17조에 위반되어 모두 무효이다.</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "mini_batch_num_tokens": null,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 256
• num_train_epochs: 1.0
• learning_rate: 1e-05
• warmup_steps: 0.05
• bf16: True
• load_best_model_at_end: True
• dataloader_num_workers: 2

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 256
• num_train_epochs: 1.0
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.05
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 2
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• dataloader_multiprocessing_context: None
• dataloader_in_order: True
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}
• warmup_ratio: None

</details>

Training Logs

• The bold row denotes the saved checkpoint.

Training Time

• Training: 29.6 minutes
• Evaluation: 1.5 minutes
• Total: 31.2 minutes

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.7.0
• Transformers: 5.15.0
• PyTorch: 2.13.0+cu126
• Accelerate: 1.14.0
• Datasets: 5.0.1
• Tokenizers: 0.22.2

Additional Resources

• Training and Finetuning Embedding Models with Sentence Transformers: the end-to-end guide for training or finetuning Sentence Transformer models.
• Introduction to Matryoshka Embedding Models: variable-size embeddings that can be truncated with minimal quality loss.
• Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval: post-training compression of embedding vectors.
• Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video models through the same API.
• Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: train multimodal embedding models, with a Visual Document Retrieval walkthrough.

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->

Sequence length

Effective max sequence length is 384 tokens, not the 8192 the underlying BGE-M3 architecture supports (model_max_length in tokenizer_config.json). Longer inputs are silently truncated — chunk documents before encoding.

Requirements

Requires sentence-transformers >= 5.0.