phobert-base-v2-IR

SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2 on the legal_retrieval_2 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: vinai/phobert-base-v2 <!-- at revision e2375d266bdf39c6e8e9a87af16a5da3190b0cc8 -->
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • legal_retrieval_2

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("datht/phobert-base-v2-IR")
# Run inference
sentences = [
    'Tiêu chuẩn về trình độ đào tạo của giáo viên THPT hạng II được quy định như thế nào?',
    "['1. Nhiệm vụ\\nNgoài những nhiệm vụ của giáo viên trung học phổ thông hạng III, giáo viên trung học phổ thông hạng II còn phải thực hiện các nhiệm vụ sau:\\na) Làm báo cáo viên hoặc dạy minh họa ở các lớp bồi dưỡng giáo viên từ cấp trường trở lên hoặc dạy thử nghiệm các mô hình, phương pháp, công nghệ mới; chủ trì các nội dung bồi dưỡng và sinh hoạt chuyên đề ở tổ chuyên môn hoặc tham gia xây dựng học liệu điện tử;\\nb) Tham gia hướng dẫn hoặc đánh giá các sản phẩm nghiên cứu khoa học và công nghệ từ cấp trường trở lên;\\nc) Tham gia đánh giá ngoài hoặc công tác kiểm tra chuyên môn, nghiệp vụ cho giáo viên từ cấp trường trở lên;\\nd) Tham gia ban giám khảo hội thi giáo viên dạy giỏi hoặc giáo viên chủ nhiệm lớp giỏi cấp trường trở lên;\\nđ) Tham gia ra đề hoặc chấm thi học sinh giỏi trung học phổ thông từ cấp trường trở lên;\\ne) Tham gia hướng dẫn hoặc đánh giá các hội thi hoặc các sản phẩm nghiên cứu khoa học kỹ thuật của học sinh trung học phổ thông từ cấp trường trở lên;\\ng)\\xa0Tham gia các hoạt động xã hội, phục vụ cộng đồng; thu hút sự tham gia của các tổ chức, cá nhân trong việc tổ chức các hoạt động dạy học, giáo dục học sinh.\\n2. Tiêu chuẩn về đạo đức nghề nghiệp\\nNgoài các tiêu chuẩn về đạo đức nghề nghiệp của giáo viên trung học phổ thông hạng III, giáo viên trung học phổ thông hạng II phải luôn luôn gương mẫu thực hiện các quy định về đạo đức nhà giáo.\\n3. Tiêu chuẩn về trình độ đào tạo, bồi dưỡng\\na) Có bằng cử nhân trở lên thuộc ngành đào tạo giáo viên đối với giáo viên trung học phổ thông.\\nTrường hợp môn học chưa đủ giáo viên có bằng cử nhân thuộc ngành đào tạo giáo viên thì phải có bằng cử nhân chuyên ngành phù hợp và có chứng chỉ bồi dưỡng nghiệp vụ sư phạm dành cho giáo viên trung học phổ thông theo chương trình do Bộ trưởng Bộ Giáo dục và Đào tạo ban hành;\\nb) Có chứng chỉ bồi dưỡng theo tiêu chuẩn chức danh nghề nghiệp giáo viên trung học phổ thông hạng II.\\n4.\\xa0Tiêu chuẩn về năng lực chuyên môn, nghiệp vụ\\na) Nắm vững chủ trương, đường lối, chính sách, pháp luật của Đảng, Nhà nước, quy định và yêu cầu của ngành, địa phương về giáo dục trung học phổ thông và triển khai thực hiện có kết quả vào nhiệm vụ được giao;\\nb) Có khả năng điều chỉnh kế hoạch dạy học và giáo dục phù hợp với điều kiện thực tế của nhà trường và địa phương; cập nhật, vận dụng linh hoạt và hiệu quả các phương pháp dạy học, giáo dục đáp ứng yêu cầu đổi mới, phù hợp với điều kiện thực tế;\\nc) Có khả năng nghiên cứu, cập nhật kịp thời yêu cầu đối mới về kiến thức chuyên môn; vận dụng sáng tạo, phù hợp các hình thức, phương pháp và lựa chọn nội dung học tập, bồi dưỡng, nâng cao năng lực chuyên môn của bản thân;\\nd) Có khả năng đánh giá hoặc hướng dẫn đồng nghiệp nghiên cứu khoa học sư phạm ứng dụng; đánh giá sản phẩm nghiên cứu khoa học kỹ thuật của học sinh trung học phổ thông từ cấp trường trở lên;\\nđ) Có khả năng vận dụng sáng tạo các hình thức, phương pháp kiểm tra đánh giá kết quả học tập và sự tiến bộ của học sinh theo hướng phát triển phẩm chất, năng lực học sinh;\\ne) Có khả năng vận dụng có hiệu quả các biện pháp tư vấn tâm lí, hướng nghiệp và công tác xã hội trường học phù hợp với từng đối tượng học sinh trong hoạt động dạy học và giáo dục;\\ng) Có khả năng ứng dụng công nghệ thông tin trong thực hiện các nhiệm vụ của giáo viên trung học phổ thông hạng II và có khả năng sử dụng ngoại ngữ hoặc tiếng dân tộc thiểu số trong một số nhiệm vụ cụ thể được giao;\\nh) Được công nhận là chiến sĩ thi đua cơ sở hoặc giáo viên dạy giỏi, giáo viên chủ nhiệm lớp giỏi cấp trường trở lên;\\ni) Viên chức dự thi hoặc xét thăng hạng chức danh nghề nghiệp giáo viên trung học phổ thông hạng II (mã số V.07.05.14) phải có thời gian giữ chức danh nghề nghiệp giáo viên trung học phổ thông hạng III (mã số V.07.05.15) hoặc tương đương từ đủ 09 (chín) năm trở lên (không kể thời gian tập sự), tính đến thời hạn nộp hồ sơ đăng ký dự thi hoặc xét thăng hạng.']",
    'Kinh phí đào tạo người học theo chế độ cử tuyển được cân đối trong dự toán chi ngân sách nhà nước của lĩnh vực giáo dục, đào tạo và giáo dục nghề nghiệp hằng năm theo phân cấp quản lý ngân sách nhà nước. Trong đó, Học bổng chính sách của người học theo chế độ cử tuyển được thực hiện theo quy định tại Nghị định số 84/2020/NĐ-CP ngày 17 tháng 7 năm 2020 của Chính phủ Quy định chi tiết một số điều của Luật Giáo dục.<unk> Trường hợp người học cử tuyển học các ngành đào tạo giáo viên thì chính sách hỗ trợ tiền chi phí sinh hoạt được thực hiện',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Ranking

• Evaluated with <code>evaluator.RankingEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

legal_retrieval_2

• Dataset: legal_retrieval_2 at 0520159
• Size: 5,143 training samples
• Columns: <code>anchor</code>, <code>positive</code>, <code>negative</code>, and <code>positive_id</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative	positive_id
  type	string	string	string	string
  details	<ul><li>min: 8 tokens</li><li>mean: 23.8 tokens</li><li>max: 44 tokens</li></ul>	<ul><li>min: 26 tokens</li><li>mean: 121.23 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 25 tokens</li><li>mean: 115.91 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 9 tokens</li><li>mean: 11.12 tokens</li><li>max: 28 tokens</li></ul>

• Samples:

  anchor	positive	negative	positive_id
  <code>Công bố bản án, quyết định tòa án đối với doanh nghiệp nhỏ và vừa trên cổng thông tin điện tử được quy định như thế nào?</code>	<code>1. Việc công bố bản án, quyết định có hiệu lực pháp luật của tòa án trên cổng thông tin điện tử của tòa án được thực hiện theo Nghị quyết số 03/2017/NQ-HĐTP ngày 16 tháng 3 năm 2017 của Hội đồng Thẩm phán Tòa án nhân dân tối cao về việc công bố bản án, quyết định trên cổng thông tin điện tử của Tòa án hoặc văn bản quy phạm pháp luật sửa đổi, bổ sung hoặc thay thế Nghị quyết này.<br>2. Việc công bố phán quyết, quyết định của trọng tài thương mại được thực hiện theo pháp luật trọng tài thương mại, thỏa thuận của các bên có liên quan đến phán quyết, quyết định đó.<br>3. Việc công bố quyết định xử lý vụ việc cạnh tranh được thực hiện theo quy định của Luật Cạnh tranh và văn bản quy phạm pháp luật quy định chi tiết Luật này.<br>4. Việc công bố quyết định xử lý vi phạm hành chính được thực hiện theo quy định của Luật Xử lý vi phạm hành chính và các văn bản quy phạm pháp luật quy định chi tiết Luật này.<br>5. Bộ, cơ quan ngang bộ, Ủy ban nhân dân cấp tỉnh có trách nhiệm cập nhật và đăng tải các bản án, q...</code>	<code>1. Thành phần hồ sơ quy định tại Điều 8 Thông tư này.<unk> 2. Ngoài thành phần hồ sơ quy định tại khoản 1 Điều này, nhà đầu tư nước ngoài bổ sung các thành phần hồ sơ sau:<unk> a) Văn bản cam kết về việc gắn bó lợi ích lâu dài với tổ chức tín dụng yếu kém, hỗ trợ tổ chức tín dụng yếu kém trong việc áp dụng công nghệ hiện đại; phát triển sản phẩm, dịch vụ ngân hàng; nâng cao năng lực quản trị, điều hành;<unk> b) Phương án mua cổ phần và cơ cấu lại tổ chức tín dụng yếu kém tối</code>	<code>55/2019/nđ-cp_7</code>
  <code>Công bố bản án, quyết định tòa án đối với doanh nghiệp nhỏ và vừa trên cổng thông tin điện tử được quy định như thế nào?</code>	<code>1. Việc công bố bản án, quyết định có hiệu lực pháp luật của tòa án trên cổng thông tin điện tử của tòa án được thực hiện theo Nghị quyết số 03/2017/NQ-HĐTP ngày 16 tháng 3 năm 2017 của Hội đồng Thẩm phán Tòa án nhân dân tối cao về việc công bố bản án, quyết định trên cổng thông tin điện tử của Tòa án hoặc văn bản quy phạm pháp luật sửa đổi, bổ sung hoặc thay thế Nghị quyết này.<br>2. Việc công bố phán quyết, quyết định của trọng tài thương mại được thực hiện theo pháp luật trọng tài thương mại, thỏa thuận của các bên có liên quan đến phán quyết, quyết định đó.<br>3. Việc công bố quyết định xử lý vụ việc cạnh tranh được thực hiện theo quy định của Luật Cạnh tranh và văn bản quy phạm pháp luật quy định chi tiết Luật này.<br>4. Việc công bố quyết định xử lý vi phạm hành chính được thực hiện theo quy định của Luật Xử lý vi phạm hành chính và các văn bản quy phạm pháp luật quy định chi tiết Luật này.<br>5. Bộ, cơ quan ngang bộ, Ủy ban nhân dân cấp tỉnh có trách nhiệm cập nhật và đăng tải các bản án, q...</code>	<code>Quy trình tái cơ cấu doanh nghiệp 100% vốn nhà nước để chuyển thành công ty cổ phần quy định cụ thể tại Phụ lục kèm theo Thông tư này, bao gồm các bước cơ bản sau:<unk> 1. Triển khai kế hoạch chuyển doanh nghiệp 100% vốn nhà nước thành công ty cổ phần<unk> a) Thành lập Ban chỉ đạo cổ phần hóa/tái cơ cấu và Tổ giúp việc.<unk> b) Chuẩn bị các hồ sơ, tài liệu.<unk> c) Tổ chức kiểm kê, xử lý những vấn đề về tài chính và tổ chức xác định giá trị doanh nghiệp theo quy định tại Nghị định số 59/2011/NĐ-CP</code>	<code>55/2019/nđ-cp_7</code>
  <code>Mức phạt nếu ngồi trên tay lái mô tô, xe gắn máy ?</code>	<code>1. Phạt tiền từ 80.000 đồng đến 100.000 đồng đối với người được chở trên xe đạp, xe đạp máy sử dụng ô (dù).<br>2. Phạt tiền từ 100.000 đồng đến 200.000 đồng đối với cá nhân thực hiện một trong các hành vi vi phạm sau đây:<br>a) Tập trung đông người trái phép, nằm, ngồi trên đường bộ gây cản trở giao thông;<br>b) Đá bóng, đá cầu, chơi cầu lông hoặc các hoạt động thể thao khác trái phép trên đường bộ; sử dụng bàn trượt, pa-tanh, các thiết bị tương tự trên phần đường xe chạy;<br>c) Người được chở trên xe mô tô, xe gắn máy (kể cả xe máy điện), các loại xe tương tự xe mô tô và các loại xe tương tự xe gắn máy sử dụng ô (dù);<br>d) Người được chở trên xe đạp, xe đạp máy bám, kéo, đẩy xe khác, vật khác, mang vác vật cồng kềnh.<br>3. Phạt tiền từ 200.000 đồng đến 300.000 đồng đối với người được chở trên xe mô tô, xe gắn máy (kể cả xe máy điện), các loại xe tương tự xe mô tô, các loại xe tương tự xe gắn máy, xe đạp máy (kể cả xe đạp điện) không đội “mũ bảo hiểm cho người đi mô tô, xe máy” hoặc đội “mũ bảo hiểm ch...</code>	<code>Trong Nghị định này, các từ ngữ dưới đây được hiểu như sau:<unk> 1. Lĩnh vực giao thông đường bộ:<unk> a) Máy kéo là loại xe gồm phần đầu máy tự di chuyển, được lái bằng càng hoặc vô lăng và rơ moóc được kéo theo (có thể tháo rời với phần đầu kéo);<unk> b) Các loại xe tương tự xe ô tô là loại phương tiện giao thông đường bộ chạy bằng động cơ có từ hai trục, bốn bánh xe trở lên, có phần động cơ và thùng hàng (nếu có) lắp trên cùng một xát xi (kể cả loại xe 4 bánh</code>	<code>100/2019/nđ-cp_11</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32
  }
  

Evaluation Dataset

legal_retrieval_2

• Dataset: legal_retrieval_2 at 0520159
• Size: 640 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, <code>negative</code>, and <code>positive_id</code>
• Approximate statistics based on the first 640 samples:

  	anchor	positive	negative	positive_id
  type	string	string	string	string
  details	<ul><li>min: 9 tokens</li><li>mean: 23.77 tokens</li><li>max: 43 tokens</li></ul>	<ul><li>min: 28 tokens</li><li>mean: 120.79 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 21 tokens</li><li>mean: 113.56 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 12 tokens</li><li>mean: 15.53 tokens</li><li>max: 39 tokens</li></ul>

• Samples:

  anchor	positive	negative	positive_id
  <code>Tiền lương của người quản lý công ty TNHH một thành viên do VIETTEL nắm giữ 100% vốn điều lệ được quy định như thế nào?</code>	<code>['1. Tiền lương của người quản lý công ty được tính trong đơn giá tiền lương được giao ổn định và quỹ tiền lương thực hiện của công ty trách nhiệm hữu hạn một thành viên do Công ty mẹ - Tập đoàn Viễn thông Quân đội nắm giữ 100% vốn điều lệ theo quy định tại Điều 12 và Điều 13 Thông tư này.\n2. Căn cứ vào quỹ tiền lương thực hiện hằng năm, công ty thực hiện tạm ứng tiền lương và trả lương đối với người quản lý theo quy chế trả lương của công ty.']</code>	<code>Một số từ ngữ trong Thông tư này được hiểu như sau:<unk> 1. Kiểm soát viên công ty TNHH MTV do Nhà nước nắm giữ 100% vốn điều lệ (sau đây gọi là Kiểm soát viên) là cá nhân do cơ quan đại diện chủ sở hữu quyết định bổ nhiệm, bổ nhiệm lại, thực hiện các quyền và nghĩa vụ theo quy định tại Điều 104, 105 và 106 Luật Doanh nghiệp và quy định tại Quy chế hoạt động của Kiểm soát viên công ty TNHH MTV do Nhà nước nắm giữ 100% vốn điều lệ.<unk> 2. Kiểm soát viên tài chính là cá nhân do Bộ trưởng Bộ Tài chính</code>	<code>['33/2016/tt-blđtbxh_14']</code>
  <code>Tiền lương của người quản lý công ty TNHH một thành viên do VIETTEL nắm giữ 100% vốn điều lệ được quy định như thế nào?</code>	<code>['1. Tiền lương của người quản lý công ty được tính trong đơn giá tiền lương được giao ổn định và quỹ tiền lương thực hiện của công ty trách nhiệm hữu hạn một thành viên do Công ty mẹ - Tập đoàn Viễn thông Quân đội nắm giữ 100% vốn điều lệ theo quy định tại Điều 12 và Điều 13 Thông tư này.\n2. Căn cứ vào quỹ tiền lương thực hiện hằng năm, công ty thực hiện tạm ứng tiền lương và trả lương đối với người quản lý theo quy chế trả lương của công ty.']</code>	<code>1. Ủy ban Quản lý vốn nhà nước tại doanh nghiệp là cơ quan thuộc Chính phủ (sau đây gọi là Ủy ban); được Chính phủ giao thực hiện quyền, trách nhiệm của đại diện chủ sở hữu nhà nước đối với doanh nghiệp do Nhà nước nắm giữ 100% vốn điều lệ và phần vốn nhà nước đầu tư tại công ty cổ phần, công ty trách nhiệm hữu hạn hai thành viên trở lên theo quy định của pháp luật.<unk> 2. Ủy ban Quản lý vốn nhà nước tại doanh nghiệp có tên giao dịch quốc tế tiếng Anh là Commission for the Management of State Capital at Enterprise</code>	<code>['33/2016/tt-blđtbxh_14']</code>
  <code>Điều kiện về nhà xưởng, trang thiết bị của cơ sở sản xuất thức ăn, sản phẩm xử lý môi trường nuôi trồng thủy sản được quy định như thế nào?</code>	<code>['1. Điểm c khoản 1 Điều 32 Luật Thủy sản được quy định cụ thể như sau:\na) Có nhà xưởng kết cấu vững chắc, nền không đọng nước, liên thông và một chiều từ nguyên liệu đến thành phẩm; tường, trần, vách ngăn, cửa bảo đảm yêu cầu về kiểm soát chất lượng, an toàn sinh học; khu chứa trang thiết bị, nguyên liệu vật liệu, thành phẩm bảo đảm không nhiễm chéo lẫn nhau và bảo đảm theo yêu cầu bảo quản của nhà sản xuất, cung cấp;\nb) Trang thiết bị tiếp xúc với nguyên liệu, thành phẩm bảo đảm yêu cầu về kiểm soát chất lượng, an toàn sinh học; thiết bị thu gom và xử lý chất thải không gây ô nhiễm môi trường khu vực sản xuất. Trường hợp cơ sở sản xuất sinh khối vi sinh vật để sản xuất chế phẩm sinh học, vi sinh vật phải có thiết bị tạo môi trường, lưu giữ và nuôi cấy vi sinh vật.\n2. Điểm d khoản 1 Điều 32 Luật Thủy sản được quy định cụ thể như sau: Có phòng thử nghiệm hoặc có thuê phòng thử nghiệm đủ năng lực để kiểm tra chất lượng trong quá trình sản xuất.\n3. Điểm đ khoản 1 Điều 32 Luật Thủy sả...</code>	<code>Cơ sở mua bán, nhập khẩu thức ăn thủy sản, sản phẩm xử lý môi trường nuôi trồng thủy sản phải đáp ứng các điều kiện sau đây:<unk> 1. Nơi bày bán, nơi bảo quản cách biệt với thuốc bảo vệ thực vật, phân bón, hóa chất độc hại;<unk> 2. Có thiết bị, dụng cụ để bảo quản thức ăn thủy sản, sản phẩm xử lý môi trường nuôi trồng thủy sản theo hướng dẫn của nhà sản xuất, nhà cung cấp.</code>	<code>['26/2019/nđ-cp_27']</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• do_predict: True
• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• eval_accumulation_steps: 1
• num_train_epochs: 5.0
• lr_scheduler_type: constant
• save_only_model: True
• bf16: True
• tf32: True
• disable_tqdm: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• use_liger_kernel: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: True
• do_predict: True
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: 1
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5.0
• max_steps: -1
• lr_scheduler_type: constant
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: True
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: True
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: True
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• attn_implementation: flash_attention_2

</details>

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 4.1.0
• Transformers: 4.50.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 2.21.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->