ModernBERT-base-2e

SentenceTransformer based on answerdotai/ModernBERT-base

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: answerdotai/ModernBERT-base <!-- at revision 8949b909ec900327062f0ebf497f51aef5e6f0c8 -->
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/ModernBERT-base-2e")
# Run inference
sentences = [
    'ai quyết_định mức cấp tín_dụng tối_đa vượt quá các giới_hạn quy_định trong trường_hợp đặc_biệt ?',
    '4 . mức dư_nợ cấp tín_dụng quy_định tại khoản 1 và khoản 2 điều này bao_gồm cả tổng mức đầu_tư vào trái_phiếu do khách_hàng phát_hành . \n 5 . giới_hạn và điều_kiện cấp tín_dụng để đầu_tư , kinh_doanh cổ_phiếu của ngân_hàng thương_mại , chi_nhánh ngân_hàng nước_ngoài do ngân_hàng nhà_nước quy_định . \n 6 . trường_hợp nhu_cầu vốn của một khách_hàng và người có liên_quan vượt quá giới_hạn cấp tín_dụng quy_định tại khoản 1 và khoản 2 điều này thì tổ_chức tín_dụng , chi_nhánh ngân_hàng nước_ngoài được cấp tín_dụng hợp vốn theo quy_định của ngân_hàng nhà_nước . \n 7 . trong trường_hợp đặc_biệt , để thực_hiện nhiệm_vụ kinh_tế - xã_hội mà khả_năng hợp vốn của các tổ_chức tín_dụng , chi_nhánh ngân_hàng nước_ngoài chưa đáp_ứng được yêu_cầu vay vốn của một khách_hàng thì thủ_tướng chính_phủ quyết_định mức cấp tín_dụng tối_đa vượt quá các giới_hạn quy_định tại khoản 1 và khoản 2 điều này đối_với từng trường_hợp cụ_thể .',
    'điều 14 . trách_nhiệm của ủy_ban nhân_dân tỉnh , thành_phố trực_thuộc trung_ương \n 1 . chỉ_đạo sở khoa_học và công_nghệ phối_hợp với các cơ_quan_chức_năng thuộc ủy_ban nhân_dân tỉnh , thành_phố trực_thuộc trung_ương tổ_chức hướng_dẫn triển_khai thực_hiện thông_tư này . \n 2 . chỉ_đạo sở khoa_học và công_nghệ phối_hợp với cơ_quan , đơn_vị có liên_quan tiến_hành thanh_tra , kiểm_tra thực_hiện quy_định pháp_luật trong việc thuê và sử_dụng người việt_nam ở nước_ngoài và chuyên_gia nước_ngoài đảm_nhiệm chức_danh lãnh_đạo tại các tổ_chức khoa_học và công_nghệ công_lập trên địa_bàn tỉnh . \n 3 . định_kỳ hằng năm , gửi báo_cáo về bộ khoa_học và công_nghệ về tình_hình thuê người việt_nam ở nước_ngoài và chuyên_gia nước_ngoài đảm_nhiệm chức_danh lãnh_đạo tổ_chức khoa_học và công_nghệ công_lập thuộc phạm_vi quản_lý .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 63,130 training samples
• Columns: <code>query</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	<ul><li>min: 35 tokens</li><li>mean: 85.74 tokens</li><li>max: 225 tokens</li></ul>	<ul><li>min: 289 tokens</li><li>mean: 584.64 tokens</li><li>max: 923 tokens</li></ul>	<ul><li>min: 299 tokens</li><li>mean: 581.07 tokens</li><li>max: 929 tokens</li></ul>

• Samples:

  query	positive	negative
  <code>bộ tài_chính quy_định thế_nào về chi_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ?</code>	<code>c ) chi công_tác_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ( nếu có ) thực_hiện theo quy_định tại thông_tư số 102 / 2012 / tt - btc ngày 21 / 6 / 2012 của bộ tài_chính quy_định_chế_độ công_tác_phí cho cán_bộ , công_chức nhà_nước đi công_tác ngắn_hạn ở nước_ngoài do ngân_sách nhà_nước bảo_đảm kinh_phí ; <br> d ) chi tập_huấn nghiệp_vụ cho văn_phòng con_nuôi nước_ngoài tại việt_nam được thực_hiện theo quy_định tại thông_tư số 139 / 2010 / tt - btc ngày 21 / 9 / 2010 của bộ tài_chính quy_định việc lập dự_toán , quản_lý và sử_dụng kinh_phí từ ngân_sách nhà_nước dành cho công_tác đào_tạo , bồi_dưỡng cán_bộ , công_chức ;</code>	<code>điều 15 . nhiệm_vụ , quyền_hạn của bộ tài_chính <br> 1 . là cơ_quan đầu_mối giúp chính_phủ thống_nhất quản_lý nhà_nước về tài_sản công . <br> 2 . chủ_trì xây_dựng , trình cơ_quan , người có thẩm_quyền ban_hành_văn_bản quy_phạm_pháp_luật về : <br> a ) chế_độ quản_lý , sử_dụng tài_sản công tại cơ_quan , tổ_chức , đơn_vị ; việc phân_cấp thẩm_quyền quyết_định trong quản_lý , sử_dụng tài_sản công ; <br> b ) tiêu_chuẩn , định mức sử_dụng trụ_sở làm_việc , xe ô_tô , tài_sản công của cơ_quan đại_diện ngoại_giao , cơ_quan đại_diện lãnh_sự , cơ_quan đại_diện tại tổ_chức quốc_tế theo quy_định của pháp_luật về cơ_quan đại_diện của việt_nam ở nước_ngoài và cơ_quan , tổ_chức , đơn_vị khác của việt_nam ở nước_ngoài ( sau đây gọi là cơ_quan việt_nam ở nước_ngoài ) , máy_móc , thiết_bị và các tài_sản công được sử_dụng phổ_biến tại cơ_quan , tổ_chức , đơn_vị , trừ nhà ở công_vụ và tài_sản đặc_biệt tại đơn_vị lực_lượng vũ_trang nhân_dân ;</code>
  <code>khi thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm những chi_phí nào ?</code>	<code>a ) giá đất được trừ để tính thuế giá_trị gia_tăng được quy_định cụ_thể như sau : - trường_hợp được nhà_nước giao đất để đầu_tư cơ_sở hạ_tầng xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm tiền_sử_dụng đất phải nộp ngân_sách nhà_nước ( không kể tiền_sử_dụng đất được miễn , giảm ) và chi_phí bồi_thường , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp đấu_giá quyền sử_dụng đất thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất trúng đấu_giá ; - trường_hợp thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng là tiền thuê đất phải nộp ngân_sách nhà_nước ( không bao_gồm tiền thuê đất được miễn , giảm ) và chi_phí đền_bù , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp cơ_sở kinh_doanh nhận chuyển_nhượng quyền sử_dụng đất của các tổ_chức , cá_nhân thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất tại thời_điểm nhận chuyển_nhượng quyền sử_dụng đất bao_gồm c...</code>	<code>5 . phối_hợp với cơ_quan bảo_hiểm xã_hội trả sổ bảo_hiểm xã_hội cho người lao_động , xác_nhận thời_gian đóng bảo_hiểm xã_hội khi người lao_động chấm_dứt hợp_đồng lao_động , hợp_đồng làm_việc hoặc thôi_việc theo quy_định của pháp_luật . <br> 6 . cung_cấp chính_xác , đầy_đủ , kịp_thời thông_tin , tài_liệu liên_quan đến việc đóng , hưởng bảo_hiểm xã_hội theo yêu_cầu của cơ_quan quản_lý nhà_nước có thẩm_quyền , cơ_quan bảo_hiểm xã_hội . <br> 7 . định_kỳ 06 tháng , niêm_yết công_khai_thông_tin về việc đóng bảo_hiểm xã_hội cho người lao_động ; cung_cấp thông_tin về việc đóng bảo_hiểm xã_hội của người lao_động khi người lao_động hoặc tổ_chức công_đoàn yêu_cầu . <br> 8 . hằng năm , niêm_yết công_khai_thông_tin đóng bảo_hiểm xã_hội của người lao_động do cơ_quan bảo_hiểm xã_hội cung_cấp theo quy_định tại khoản 7 điều 23 của luật này . <br> điều 22 . quyền của cơ_quan bảo_hiểm xã_hội <br> 1 . tổ_chức quản_lý nhân_sự , tài_chính và tài_sản theo quy_định của pháp_luật . <br> 2 . từ_chối yêu_cầu trả bảo_hiểm xã_hội ,...</code>
  <code>nếu tôi vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế sẽ xử_lý như thế_nào ?</code>	<code>trường_hợp tại biên_bản kiểm_tra trước hoàn thuế xác_định người nộp thuế vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế_ban_hành quyết_định xử_lý vi_phạm_pháp_luật về thuế và bù_trừ số tiền thuế được hoàn của người nộp thuế tại quyết_định hoàn thuế_kiêm bù_trừ thu ngân_sách nhà_nước theo mẫu_số 02 / qđ - ht ban_hành kèm theo phụ_lục i thông_tư này . <br> d ) đối_với hồ_sơ hoàn nộp thừa của người nộp thuế có khoản nộp thừa tại tỉnh nơi được hưởng khoản thu_phân_bổ , cơ_quan thuế quản_lý trực_tiếp chủ_trì tổng_hợp nghĩa_vụ thuế , số thuế đã nộp ngân_sách nhà_nước tại trụ_sở chính và các tỉnh nơi được hưởng khoản thu_phân_bổ .</code>	<code>điều 59 . quản_lý nhà_nước về kinh_doanh casino <br> 1 . chính_phủ thống_nhất quản_lý nhà_nước về kinh_doanh casino và ban_hành chính_sách điều_chỉnh hoạt_động_kinh_doanh casino theo thẩm_quyền . <br> 2 . thủ_tướng chính_phủ <br> a ) phê_duyệt chủ_trương , chính_sách , ban_hành các văn_bản quy_phạm_pháp_luật và biện_pháp cần_thiết theo thẩm_quyền để quản_lý hoạt_động_kinh_doanh casino theo quy_định tại nghị_định này và quy_định của pháp_luật có liên_quan ; <br> b ) chấp_thuận số_lượng máy trò_chơi , bàn trò_chơi và điều_chỉnh số_lượng máy trò_chơi , bàn trò_chơi tối_đa đối_với dự_án khu dịch_vụ , du_lịch và vui_chơi giải_trí tổng_hợp có casino theo quy_định tại điều 7 và điều 8 nghị_định này ; <br> c ) quyết_định các nội_dung khác có liên_quan đến hoạt_động_kinh_doanh casino theo thẩm_quyền quy_định tại nghị_định này và quy_định của pháp_luật . <br> 3 . bộ tài_chính chịu trách_nhiệm trước chính_phủ thực_hiện quản_lý nhà_nước về kinh_doanh casino , bao_gồm : <br> a ) nghiên_cứu , xây_dựng trình cấp có thẩm_...</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 2,000 evaluation samples
• Columns: <code>query</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	<ul><li>min: 37 tokens</li><li>mean: 85.51 tokens</li><li>max: 173 tokens</li></ul>	<ul><li>min: 297 tokens</li><li>mean: 587.0 tokens</li><li>max: 931 tokens</li></ul>	<ul><li>min: 276 tokens</li><li>mean: 585.64 tokens</li><li>max: 906 tokens</li></ul>

• Samples:

  query	positive	negative
  <code>cục y_tế dự_phòng có vai_trò gì trong việc xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người ?</code>	<code>điều 13 . trách_nhiệm của cục y_tế dự_phòng - bộ y_tế <br> 1 . đầu_mối của bộ y_tế phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn triển_khai các hoạt_động phối_hợp phòng , chống bệnh lây_truyền từ động_vật sang người . <br> 2 . chỉ_đạo toàn_bộ các hoạt_động về phối_hợp giữa ngành y_tế và nông_nghiệp trong phòng , chống bệnh lây_truyền từ động_vật sang người đối_với các đơn_vị trong ngành y_tế . <br> 3 . phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn xây_dựng , đề_xuất sửa_đổi các hướng_dẫn giám_sát bệnh lây_truyền từ động_vật sang người ; xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người . <br> 4 . định_kỳ 6 tháng_một lần , tổ_chức họp giao_ban với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn và các đơn_vị liên_quan để đánh_giá hoạt_động phối_hợp trong giám_sát phòng , chống bệnh lây_truyền từ động_vật sang người .</code>	<code>khoản 1 . chi thường_xuyên : <br> a ) chi thanh_toán cá_nhân : tiền_lương , tiền công , phụ_cấp lương , các khoản đóng_góp theo lương ( bảo_hiểm xã_hội , bảo_hiểm y_tế , bảo_hiểm_thất_nghiệp ( nếu có ) , kinh_phí công_đoàn ) ; tiền khen_thưởng thành_tích theo danh_hiệu thi_đua và các khoản thanh_toán khác cho cá_nhân ; <br> b ) chi quản_lý hành_chính : chi thanh_toán dịch_vụ công_cộng ; vật_tư văn_phòng ; thông_tin tuyên_truyền , liên_lạc ; hội_nghị ; chi công_tác_phí ; chi thuê_mướn ; sửa_chữa , bảo_trì , bảo_dưỡng thường_xuyên tài_sản cố_định và các khoản chi hành_chính khác ; <br> c ) chi hoạt_động nghiệp_vụ : mua_sắm vật_tư , hàng_hóa dùng cho chuyên_môn , nghiệp_vụ ; thiết_bị an_toàn kho_quỹ , thiết_bị kiểm_đếm ; ấn chỉ các loại ; trang_phục , bảo_hộ lao_động ; các khoản nghiệp_vụ kiểm_đếm , đảo kho , điều_chuyển , bảo_vệ an_toàn kho , tiền , vàng_bạc , đá_quý , ngoại_tệ và các chứng_chỉ có_giá ; bảo_quản , lưu_trữ tài_liệu , chứng_từ ; các khoản nghiệp_vụ khác ; <br> d ) chi_phối_hợp tổ_chức...</code>
  <code>theo quy_định , tay_vịn phải được lắp_đặt như thế_nào ở khu_vực cạnh cửa ra vào trên xe_khách thành_phố để người khuyết_tật tiếp_cận ?</code>	<code>trong bất_kỳ khu_vực nào không phải lối đi dọc mà hành_khách có_thể đứng : 2.3.4.1.3 . từ khu_vực cạnh cửa ra vào liền kề ngay cửa ra vào ưu_tiên đến ít_nhất một ghế ưu_tiên , tay_vịn có độ cao từ 800 mm đến 900 mm so với sàn xe ; hoặc ở khu_vực không phù_hợp với những yêu_cầu đó , tay_vịn không cần phải bố_trí liên_tục , nhưng khoảng trống giữa các tay_vịn không được lớn hơn 1050 mm , và phải có một tay_vịn thẳng_đứng bố_trí tại ít_nhất một phía của khoảng trống giữa các tay_vịn nói trên với chiều dài nằm trong khoảng từ độ cao 1200 mm đến độ cao không nhỏ hơn 1500 mm so với sàn xe . 2.3.4.1.4 . tay_vịn được bố_trí ở cả hai bên của khu_vực phía trong cửa vào hoặc cửa ra : 2.3.4.2 .</code>	<code>điều 15 . <br> 1 . hội_đồng quản_trị thực_hiện chức_năng quản_lý hoạt_động của tổng_công_ty , chịu trách_nhiệm về sự phát_triển của tổng_công_ty theo nhiệm_vụ nhà_nước giao . <br> 2 . hội_đồng quản_trị có các quyền_hạn và nhiệm_vụ sau : <br> a ) nhận vốn ( kể_cả nợ ) , đất_đai , tài_nguyên và các nguồn_lực khác do nhà_nước giao cho tổng_công_ty . <br> b ) xem_xét , phê_duyệt phương_án do tổng_giám_đốc đề_nghị về việc phân giao vốn và các nguồn_lực khác cho các đơn_vị thành_viên và phương_án điều_hoà_vốn và các nguồn_lực khác giữa các đơn_vị thành_viên ; kiểm_tra , giám_sát việc thực_hiện các phương_án đó ; <br> c ) kiểm_tra , giám_sát mọi hoạt_động trong tổng_công_ty ; trong đó có việc sử_dụng , bảo_toàn , phát_triển vốn và các nguồn_lực được giao ; việc thực_hiện các nghị_định và quyết_định của hội_đồng quản_trị , các quy_định của luật_pháp ; việc thực_hiện nghĩa_vụ đối_với nhà_nước .</code>
  <code>ngày 01 tháng 01 năm 2018 có ý_nghĩa gì đối_với nghị_định về trình_tự , thủ_tục , mức tiền pháp_nhân thương_mại phải nộp để bảo_đảm thi_hành án ?</code>	<code>chương iv. điều_khoản thi_hành <br> điều 10 . hiệu_lực thi_hành . nghị_định này có hiệu_lực thi_hành từ ngày 01 tháng 01 năm 2018 . <br> điều 11 . trách_nhiệm thi_hành . các bộ_trưởng , thủ_trưởng cơ_quan ngang bộ , thủ_trưởng cơ_quan thuộc chính_phủ , chủ_tịch ủy_ban nhân_dân các tỉnh , thành_phố trực_thuộc trung_ương và các đối_tượng áp_dụng của nghị_định chịu trách_nhiệm thi_hành nghị_định này . / nơi nhận : - ban bí_thư trung_ương đảng ; - thủ_tướng , các phó_thủ_tướng chính_phủ ; - các bộ , cơ_quan ngang bộ , cơ_quan thuộc chính_phủ ; - hđnd , ubnd các tỉnh , thành_phố trực_thuộc trung_ương ; - văn_phòng trung_ương và các ban của đảng ; - văn_phòng tổng_bí_thư ; - văn_phòng chủ_tịch nước ; - hội_đồng dân_tộc và các ủy_ban của quốc_hội ; - văn_phòng quốc_hội ; - tòa_án nhân_dân tối_cao ; - viện kiểm_sát_nhân_dân tối_cao ; - kiểm_toán nhà_nước ; - ủy_ban giám_sát tài_chính quốc_gia ; - ngân_hàng chính_sách xã_hội ; - ngân_hàng phát_triển việt_nam ;</code>	<code>viên_chức đăng_ký dự_thi thăng_hạng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp. viên_chức đăng_ký dự_xét thăng_hạng thuộc đối_tượng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp được xác_nhận đáp_ứng tiêu_chuẩn về ngoại_ngữ , tin_học khi đăng_ký dự_xét thăng_hạng . trường_hợp không thuộc đối_tượng miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp thì trong hồ_sơ dự xét phải có minh chứng đáp_ứng yêu_cầu về tiêu_chuẩn ngoại_ngữ , tin_học của chức_danh nghề_nghiệp đăng_ký dự_xét thăng_hạng .</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• learning_rate: 8e-05
• warmup_ratio: 0.05
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 8e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.10.10
• Sentence Transformers: 3.3.1
• Transformers: 4.49.0.dev0
• PyTorch: 2.2.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->