bge-m3

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the csv dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• Maximum Sequence Length: 1024 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Hợp tác quốc tế trong việc chống khủng bố sẽ gồm những nội dung nào?',
    "['Nội dung, trách nhiệm hợp tác quốc tế\\n1. Nội dung hợp tác quốc tế bao gồm:\\na) Trao đổi thông tin về phòng, chống khủng bố;\\nb) Huấn luyện, diễn tập phòng, chống khủng bố;\\nc) Nâng cao năng lực pháp luật; đào tạo, huấn luyện kiến thức, kỹ năng về phòng, chống khủng bố;\\nd) Tăng cường điều kiện vật chất về phòng, chống khủng bố;\\nđ) Giải quyết vụ khủng bố;\\ne) Thực hiện các nội dung hợp tác quốc tế khác theo quy định của pháp luật Việt Nam và điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên.\\n2. Bộ Công an chủ trì, phối hợp với các bộ, ngành liên quan giúp Chính phủ đàm phán, đề xuất ký kết hoặc gia nhập điều ước quốc tế có liên quan đến phòng, chống khủng bố; chủ trì, phối hợp với các bộ, ngành liên quan trong hợp tác quốc tế về phòng, chống khủng bố.']",
    '1. Tiếng dân tộc thiểu số là môn học trong các cơ sở giáo dục phổ thông và trung tâm giáo dục thường xuyên.\n2. Việc dạy học tiếng dân tộc thiểu số được thực hiện theo các hình thức tổ chức dạy học ở các cơ sở giáo dục phổ thông và trung tâm giáo dục thường xuyên.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 119,434 training samples
• Columns: <code>Anchor</code>, <code>Positive</code>, and <code>Negative</code>
• Approximate statistics based on the first 1000 samples:

  	Anchor	Positive	Negative
  type	string	string	string
  details	<ul><li>min: 8 tokens</li><li>mean: 24.15 tokens</li><li>max: 59 tokens</li></ul>	<ul><li>min: 35 tokens</li><li>mean: 295.85 tokens</li><li>max: 1024 tokens</li></ul>	<ul><li>min: 6 tokens</li><li>mean: 284.06 tokens</li><li>max: 1024 tokens</li></ul>

• Samples:

  Anchor	Positive	Negative
  <code>Kết quả xét tuyển và hồ sơ của thí sinh trúng tuyển trường trung cấp nghề được kiểm tra như thế nào?</code>	<code>['Kiểm tra kết quả xét tuyển hoặc thi tuyển và hồ sơ của thí sinh trúng tuyển\n1. Sau kỳ tuyển sinh, trường phải tiến hành kiểm tra kết quả xét tuyển, thi tuyển của tất cả số thí sinh đã trúng tuyển vào trường ở tất cả các khâu, đồng thời kiểm tra, đối chiếu với bản chính các loại giấy tờ của thí sinh. Nếu phát hiện thấy các trường hợp vi phạm quy chế hoặc các trường hợp nghi vấn, cần lập biên bản kiến nghị Hiệu trưởng, Chủ tịch Hội đồng tuyển sinh có biện pháp xác minh, xử lý.\n2. Khi thí sinh đến nhập học, trường phải tổ chức kiểm tra hồ sơ đã nộp theo quy định tại khoản 3 Điều 11 của Thông tư này.\n3. Trong quá trình học sinh, sinh viên đang theo học nếu có khiếu nại, tố cáo trường phải thanh tra, kiểm tra hồ sơ và kết quả thi của thí sinh theo quy định.']</code>	<code>Chế độ báo cáo<br>...<br>2. Đối với hệ thống đường địa phương<br>Các cơ quan quản lý đường bộ thực hiện trách nhiệm báo cáo theo quy định của Ủy ban nhân dân cấp tỉnh. Sở Giao thông vận tải báo cáo Tổng cục Đường bộ Việt Nam như sau:<br>a) Tên báo cáo: Báo cáo kết quả thực hiện công tác quản lý, bảo trì công trình đường bộ.<br>b) Nội dung yêu cầu báo cáo: Báo cáo tình hình quản lý, bảo trì hệ thống đường tỉnh, đường đô thị, đường huyện và các đường địa phương khác, đường chuyên dùng.<br>c) Phương thức gửi, nhận báo cáo: Báo cáo được thể hiện dưới hình thức văn bản giấy hoặc văn bản điện tử. Báo cáo được gửi đến cơ quan nhận báo cáo bằng một trong các phương thức sau: gửi trực tiếp, qua dịch vụ bưu chính, fax, qua hệ thống thư điện tử, hoặc các phương thức khác theo quy định của pháp luật.<br>d) Tần suất thực hiện báo cáo: Định kỳ hàng năm.<br>đ) Thời hạn gửi báo cáo: Trước ngày 20 tháng 12 hàng năm.<br>e) Thời gian chốt số liệu báo cáo: Tính từ ngày 15 tháng 12 năm trước kỳ báo cáo đến ngày 14 tháng 12 của kỳ báo cáo.<br>g) Mẫu biểu số liệu báo cáo: Theo mẫu quy định tại Phụ lục III của Thông tư này.<br>...</code>
  <code>Thời hiệu xử lý kỷ luật đối với công chức cấp trung ương là bao lâu?</code>	<code>['Thời hiệu, thời hạn xử lý kỷ luật\n...\n3. Trừ trường hợp quy định tại khoản 4 Điều này, thời hiệu xử lý kỷ luật được quy định như sau:\na) 05 năm đối với hành vi vi phạm ít nghiêm trọng đến mức phải kỷ luật bằng hình thức khiển trách;\nb) 10 năm đối với hành vi vi phạm không thuộc trường hợp quy định tại điểm a khoản này.\n4. Đối với các hành vi vi phạm sau đây thì không áp dụng thời hiệu xử lý kỷ luật:\na) Cán bộ, công chức, viên chức là đảng viên có hành vi vi phạm đến mức phải kỷ luật bằng hình thức khai trừ;\nb) Có hành vi vi phạm quy định về công tác bảo vệ chính trị nội bộ;\nc) Có hành vi xâm hại đến lợi ích quốc gia trong lĩnh vực quốc phòng, an ninh, đối ngoại;\nd) Sử dụng văn bằng, chứng chỉ, giấy chứng nhận, xác nhận giả hoặc không hợp pháp.\n...']</code>	<code>Khoản 4. Phạm tội thuộc một trong các trường hợp sau đây, thì bị phạt tù từ 12 năm đến 20 năm:<br>a) Vật phạm pháp trị giá 1.000.000.000 đồng trở lên;<br>b) Thu lợi bất chính 1.000.000.000 đồng trở lên;<br>c) Lợi dụng chiến tranh, thiên tai, dịch bệnh hoặc hoàn cảnh đặc biệt khó khăn khác.</code>
  <code>Hồ sơ bồi thường bảo hiểm trách nhiệm nghề nghiệp tư vấn đầu tư xây dựng bao gồm những tài liệu gì?</code>	<code>['"Điều 25. Hồ sơ bồi thường bảo hiểm\nDoanh nghiệp bảo hiểm có trách nhiệm phối hợp với bên mua bảo hiểm, người được bảo hiểm, các cơ quan, tổ chức có liên quan thu thập các tài liệu có liên quan để lập hồ sơ bồi thường. Hồ sơ bồi thường bảo hiểm trách nhiệm nghề nghiệp tư vấn đầu tư xây dựng bao gồm các tài liệu sau:\n1. Thông báo yêu cầu đòi bồi thường của bên thứ ba và yêu cầu bồi thường do bên mua bảo hiểm lập theo mẫu quy định tại Phụ lục 10 ban hành kèm theo Thông tư này.\n2. Tài liệu liên quan đến đối tượng bảo hiểm bao gồm: Hợp đồng bảo hiểm, Giấy chứng nhận bảo hiểm.\n3. Văn bản yêu cầu bồi thường của bên thứ ba đối với người được bảo hiểm.\n4. Tài liệu chứng minh thiệt hại về người (Bản sao có xác nhận của các cơ sở y tế hoặc bản sao có xác nhận của doanh nghiệp bảo hiểm hoặc người đại diện của doanh nghiệp bảo hiểm sau khi đã đối chiếu với bản gốc). Tùy theo mức độ thiệt hại về người có thể bao gồm một hoặc một số các tài liệu sau:\na) Giấy chứng thương.\nb) Giấy ra viện.\nc) Giấy chứng nhận phẫu thuật.\nd) Hồ sơ bệnh án.\nđ) Giấy chứng tử (trong trường hợp nạn nhân tử vong).\ne) Hóa đơn, chứng từ hợp lý, hợp lệ về chi phí y tế (bản gốc).\n5. Tài liệu chứng minh thiệt hại về tài sản, bao gồm:\na) Hồ sơ sự cố công trình xây dựng (bản sao công chứng hoặc bản sao của bên lập hồ sơ) theo quy định tại Điều 50 Nghị định số 46/2015/NĐ-CP ngày 12 tháng 5 năm 2015 của Chính phủ về quản lý chất lượng và bảo trì công trình xây dựng và các văn bản sửa đổi, bổ sung, thay thế (nếu có).\nb) Hóa đơn, chứng từ hợp lệ trong trường hợp sửa chữa, thay mới tài sản.\nc) Các giấy tờ chứng minh chi phí cần thiết và hợp lý mà bên mua bảo hiểm đã chi ra để hạn chế tổn thất ở mức thấp nhất hay để thực hiện theo chỉ dẫn của doanh nghiệp bảo hiểm.\n6. Biên bản giám định nguyên nhân và mức độ thiệt hại do doanh nghiệp bảo hiểm hoặc người được doanh nghiệp bảo hiểm ủy quyền lập.\n7. Các tài liệu khác có liên quan (nếu có)."']</code>	<code>"1. Đơn vị kinh doanh vận tải hành khách, đơn vị kinh doanh vận tải hàng hóa phải có Giấy phép kinh doanh vận tải bằng xe ô tô (sau đây gọi chung là Giấy phép kinh doanh)."</code>

• Loss: <code>TripletLoss</code> with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Evaluation Dataset

csv

• Dataset: csv
• Size: 119,434 evaluation samples
• Columns: <code>Anchor</code>, <code>Positive</code>, and <code>Negative</code>
• Approximate statistics based on the first 1000 samples:

  	Anchor	Positive	Negative
  type	string	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 24.38 tokens</li><li>max: 43 tokens</li></ul>	<ul><li>min: 39 tokens</li><li>mean: 273.93 tokens</li><li>max: 1024 tokens</li></ul>	<ul><li>min: 31 tokens</li><li>mean: 291.24 tokens</li><li>max: 782 tokens</li></ul>

• Samples:

  Anchor	Positive	Negative
  <code>Trưởng đoàn thanh tra chuyên ngành Bộ Tư pháp có quyền xử phạt Thừa phát lại không bảo quản cẩn thận hồ sơ công việc không?</code>	<code>['Thẩm quyền xử phạt vi phạm hành chính của cơ quan Thanh tra\n...\n5. Trưởng đoàn thanh tra chuyên ngành Bộ Tư pháp có quyền:\na) Phạt cảnh cáo;\nb) Phạt tiền đến 21.000.000 đồng đối với hành vi vi phạm hành chính trong lĩnh vực hành chính tư pháp, hôn nhân và gia đình; đến 28.000.000 đồng đối với hành vi vi phạm hành chính trong lĩnh vực thi hành án dân sự, phá sản doanh nghiệp, hợp tác xã; đến 35.000.000 đồng đối với hành vi vi phạm hành chính trong lĩnh vực bổ trợ tư pháp;\nc) Đình chỉ hoạt động có thời hạn hoặc tước quyền sử dụng giấy phép, chứng chỉ hành nghề, giấy đăng ký hành nghề, thẻ tư vấn viên pháp luật, thẻ công chứng viên, thẻ thừa phát lại, thẻ cộng tác viên trợ giúp pháp lý;\nd) Tịch thu tang vật, phương tiện vi phạm hành chính có giá trị không vượt quá mức tiền phạt được quy định tại điểm b khoản này;\nđ) Áp dụng biện pháp khắc phục hậu quả quy định tại khoản 3 Điều 3 Nghị định này.\n...']</code>	<code>Điều 4. Về tội tổ chức tảo hôn, tội tảo hôn (Điều 148 BLHS)<br>4.1. Tảo hôn là việc lấy vợ, lấy chồng khi một bên hoặc cả hai bên chưa đủ tuổi kết hôn theo quy định của pháp luật hôn nhân và gia đình.<br>4.2. Tổ chức tảo hôn là việc tổ chức cho những người chưa đủ tuổi kết hôn theo quy định của pháp luật hôn nhân và gia đình lấy vợ, lấy chồng. Người tổ chức tảo hôn biết rõ hoặc có căn cứ để biết rõ là cả hai người hoặc một trong hai người mà mình tổ chức lễ cưới là chưa đủ tuổi kết hôn theo quy định. Trong trường hợp, người tổ chức thực sự không biết việc đó hoặc bị nhầm lẫn về độ tuổi, thì không bị truy cứu trách nhiệm hình sự về tội này.<br>4.3. Chỉ có thể truy cứu trách nhiệm hình sự về tội tổ chức tảo hôn khi người vi phạm đã bị xử phạt hành chính về hành vi này mà còn vi phạm.<br>4.4. Chỉ có thể truy cứu trách nhiệm hình sự về tội tảo hôn khi có đầy đủ các dấu hiệu sau đây:<br>a) Người vi phạm cố ý duy trì quan hệ vợ chồng trái pháp luật với người chưa đến tuổi kết hôn;<br>b) Đã có quyết định của Tòa án buộc chấm dứt quan hệ đó;<br>c) Đã bị xử phạt hành chính về hành vi này mà còn vi phạm.<br>4.5. Chủ thể của tội tổ chức tảo hôn là bất kỳ người nào có năng lực trách nhiệm hình sự, nhưng thông thường là: ông, bà, cha, mẹ, anh, chị hoặc người thân thích của bên nam, bên nữ. Chủ thể của tội tảo hôn là bất kỳ người nào có năng lực trách nhiệm hình sự đã đủ tuổi kết hôn theo quy định của pháp luật hôn nhân và gia đình. Theo quy định tại Điều 9 Luật hôn nhân và gia đình năm 2000 thì tuổi kết hôn đối với nam là từ 20 tuổi trở lên, tuổi kết hôn đối với nữ là từ 18 tuổi trở lên.</code>
  <code>Hồ sơ chào bán chứng chỉ quỹ bất động sản lần đầu ra công chúng cần những giấy tờ nào?</code>	<code>['Hồ sơ chào bán chứng chỉ quỹ bất động sản ra công chúng\n1. Hồ sơ đăng ký chào bán chứng chỉ quỹ đầu tư bất động sản lần đầu ra công chúng bao gồm:\na) Tài liệu theo quy định tại khoản 1 Điều 234 Nghị định này (trường hợp được tổ chức và hoạt động dưới hình thức quỹ đóng) hoặc khoản 1 Điều 258 Nghị định này (trường hợp được tổ chức và hoạt động dưới hình thức công ty đầu tư chứng khoán đại chúng);\nb) Danh sách, bản thông tin cá nhân của nhân viên nghiệp vụ theo Mẫu số 91, Mẫu số 101 Phụ lục ban hành kèm theo Nghị định này và thẻ thẩm định viên về giá;\nc) Hợp đồng thẩm định giả bất động sản giữa công ty quản lý quỹ đầu tư chứng khoán ký với doanh nghiệp thẩm định giá bất động sản theo quy định Luật Giá (nếu có);\nd) Hợp đồng quản lý bất động sản giữa công ty quản lý quỹ đầu tư chứng khoán ký với tổ chức quản lý bất động sản (nếu có).\n...']</code>	<code>Chấm dứt điều tra vụ việc phòng vệ thương mại<br>Bộ trưởng Bộ Công Thương quyết định chấm dứt điều tra trong các trường hợp sau đây:<br>1. Tổ chức, cá nhân có hồ sơ yêu cầu áp dụng biện pháp phòng vệ thương mại tự nguyện rút hồ sơ;<br>2. Kết luận sơ bộ của Cơ quan điều tra xác định không có thiệt hại hoặc không đe dọa gây ra thiệt hại của ngành sản xuất trong nước hoặc không ngăn cản sự hình thành của ngành sản xuất trong nước;<br>3. Kết luận cuối cùng của Cơ quan điều tra có một trong các nội dung sau đây:<br>a) Hàng hóa bị điều tra nhập khẩu vào lãnh thổ Việt Nam không bị bán phá giá, không được trợ cấp hoặc không nhập khẩu quá mức;<br>b) Không có thiệt hại của ngành sản xuất trong nước quy định tại khoản 2 Ðiều 69 của Luật này;<br>c) Không có mối quan hệ nhân quả giữa việc nhập khẩu hàng hóa bị bán phá giá, được trợ cấp, nhập khẩu quá mức với thiệt hại, đe dọa gây ra thiệt hại của ngành sản xuất trong nước hoặc ngăn cản sự hình thành của ngành sản xuất trong nước;<br>4. Cơ quan điều tra đạt được thỏa thuận với cơ quan có thẩm quyền của nước có hàng hóa bị cáo buộc được trợ cấp nhập khẩu vào lãnh thổ Việt Nam về dỡ bỏ trợ cấp đối với hàng hóa nhập khẩu vào lãnh thổ Việt Nam.</code>
  <code>Trưởng đoàn thanh tra chuyên ngành của Bộ Khoa học và Công nghệ có quyền xử phạt người không thực hiện đúng hướng dẫn khi cơ quan, tổ chức tiến hành khắc phục sự cố hạt nhân không?</code>	<code>['Thẩm quyền xử phạt của thanh tra chuyên ngành khoa học và công nghệ\n...\n3. Trưởng đoàn thanh tra chuyên ngành Bộ Khoa học và Công nghệ có quyền:\na) Phạt cảnh cáo;\nb) Phạt tiền đến 250.000.000 đồng;\nc) Tước quyền sử dụng giấy phép, chứng chỉ hành nghề trong lĩnh vực năng lượng nguyên tử có thời hạn; đình chỉ hoạt động có thời hạn;\nd) Tịch thu tang vật, phương tiện vi phạm hành chính có giá trị không vượt quá 500.000.000 đồng;\nđ) Áp dụng biện pháp khắc phục hậu quả quy định tại Điều 3 Nghị định này.\n...'<br> 'Quy định về mức phạt tiền và thẩm quyền xử phạt đối với cá nhân, tổ chức\n...\n2. Thẩm quyền xử phạt vi phạm hành chính của những người được quy định tại Điều 43, Điều 44, Điều 45, Điều 45a, Điều 45b và Điều 45c Nghị định này là thẩm quyền áp dụng đối với một hành vi vi phạm hành chính của cá nhân. Trong trường hợp phạt tiền, thẩm quyền xử phạt đối với tổ chức gấp 02 lần thẩm quyền xử phạt đối với cá nhân.']</code>	<code>Phạm vi và đối tượng kiểm tra<br>Cơ quan điều tra có trách nhiệm kiểm tra việc thi hành các văn bản của Cơ quan điều tra ban hành, có quy định những nhiệm vụ, công việc trong phạm vi phụ trách của Cơ quan điều tra mà các bộ phận của Cơ quan điều tra, các đơn vị và Viện kiểm sát quân sự các cấp có trách nhiệm thực hiện.<br>Việc kiểm tra công tác chuyên môn, nghiệp vụ theo lĩnh vực được giao đối với các đơn vị, Viện kiểm sát quân sự các cấp trong việc thi hành các văn bản có liên quan được tiến hành theo quy định của Ngành.</code>

• Loss: <code>TripletLoss</code> with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• gradient_accumulation_steps: 4
• torch_empty_cache_steps: 1
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• save_only_model: True
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: 1
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: True
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.2.1
• Transformers: 4.45.1
• PyTorch: 2.4.0
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->