bkai-2024-retrival-e5-finetune-v2

SentenceTransformer based on intfloat/multilingual-e5-large-instruct

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large-instruct <!-- at revision c9e87c786ffac96aeaeb42863276930883923ecb -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dropout(
    (dropout_layer): Dropout(p=0.1, inplace=False)
  )
  (4): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (5): Dropout(
    (dropout_layer): Dropout(p=0.1, inplace=False)
  )
  (6): Dense({'in_features': 1024, 'out_features': 1024, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (7): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Tổ chức thu phí thẩm định điều kiện kinh doanh trong hoạt động kiểm định kỹ thuật an toàn lao động phải nộp phí cho Kho bạc nhà nước khi nào?',
    'Kê khai, nộp phí, lệ phí\n1. Chậm nhất là ngày 05 hàng tháng, tổ chức thu phí phải gửi số tiền phí đã thu của tháng trước vào tài khoản phí chờ nộp ngân sách mở tại Kho bạc nhà nước.\n...',
    'Mức thu phí\nMức phí thẩm định điều kiện kinh doanh trong hoạt động kiểm định kỹ thuật an toàn lao động; huấn luyện an toàn, vệ sinh lao động thực hiện theo quy định tại Biểu mức thu phí ban hành kèm theo Thông tư này.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 396,991 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 8 tokens</li><li>mean: 23.97 tokens</li><li>max: 50 tokens</li></ul>	<ul><li>min: 22 tokens</li><li>mean: 263.9 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 20 tokens</li><li>mean: 246.69 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Hội viên sáng lập của Hiệp hội Kinh doanh vàng Việt Nam có những quyền hạn nào?</code>	<code>Hội viên có quyền:<br>1. Được hưởng các quyền do Hiệp hội mang lại.<br>2. Tất cả các Hội viên đều có quyền tham gia Đại hội, các Hội viên chính thức được biểu quyết và đề cử, ứng cử vào các cơ quan lãnh đạo của Hiệp hội.<br>3. Ra khỏi Hiệp hội, nhưng phải có đơn trước 3 tháng gửi Hiệp hội và phải đóng đủ hội phí của năm đó.</code>	<code>Mọi tổ chức, cá nhân sản xuất kinh doanh vàng tán thành và tự nguyện xin gia nhập Hiệp hội đều có thể trở thành Hội viên của Hiệp hội.<br>Hiệp hội có 4 loại Hội viên: Hội viên sáng lập, Hội viên chính thức, Hội viên thông tấn và Hội viên danh dự.<br>1. Hội viên sáng lập: là các tổ chức, cá nhân có công sáng lập và đóng góp tài chính để thành lập Hiệp hội Kinh doanh vàng.<br>2. Hội viên chính thức: là các doanh nghiệp, các cá nhân, các nhà quản lý có kinh nghiệm trong lĩnh vực hoạt động sản xuất kinh doanh vàng, kim loại quí, đá quí và hàng trang sức và được Ban chấp hành công nhận.<br>3. Hội viên thông tấn: là những chuyên gia người Việt Nam, người nước ngoài hoặc các Hiệp hội Quốc tế cùng ngành nghề trong và ngoài nước có khả năng tư vấn, hướng dẫn, đóng góp vào việc thực hiện các mục đích và chương trình hoạt động của Hiệp hội.<br>4. Hội viên danh dự: là những công dân Việt Nam, người nước ngoài hoặc các Hiệp hội Quốc tế đã có nhiều công lao đóng góp đặc biệt cho hoạt động của Hiệp hội.</code>
  <code>Tội đưa trái phép thông tin mạng máy tính dẫn đến biểu tình được phân loại tội phạm nhóm nào?</code>	<code>“Điều 9. Phân loại tội phạm<br>1. Căn cứ vào tính chất và mức độ nguy hiểm cho xã hội của hành vi phạm tội được quy định trong Bộ luật này, tội phạm được phân thành 04 loại sau đây:<br>a) Tội phạm ít nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội không lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là phạt tiền, phạt cải tạo không giam giữ hoặc phạt tù đến 03 năm;<br>b) Tội phạm nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 03 năm tù đến 07 năm tù;<br>c) Tội phạm rất nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội rất lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 07 năm tù đến 15 năm tù;<br>d) Tội phạm đặc biệt nghiêm trọng là tội phạm có tính chất và mức độ nguy hiểm cho xã hội đặc biệt lớn mà mức cao nhất của khung hình phạt do Bộ luật này quy định đối với tội ấy là từ trên 15 năm tù đến 20 năm tù, tù chung thân hoặc tử hình.<br>2. Tội phạm do pháp nhân thương mại thực hiện được phân loại căn cứ vào tính chất và mức độ nguy hiểm cho xã hội của hành vi phạm tội theo quy định tại khoản 1 Điều này và quy định tương ứng đối với các tội phạm được quy định tại Điều 76 của Bộ luật này.”<br>Như vậy, thời hiệu truy cứu trách nhiệm hình sự sẽ căn cứ vào loại tội phạm để xác định. Cụ thể về tội giết người như sau:<br>Tội phạm đặc biệt nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 20 năm<br>Tội phạm rất nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 15 năm<br>Tội phạm nghiêm trọng: thời hiệu truy cứu trách nhiệm hình sự là 10 năm."</code>	<code>Tội xâm nhập trái phép vào mạng máy tính, mạng viễn thông hoặc phương tiện điện tử của người khác<br>...<br>2. Phạm tội thuộc một trong các trường hợp sau đây, thì bị phạt tiền từ 300.000.000 đồng đến 1.000.000.000 đồng hoặc bị phạt tù từ 03 năm đến 07 năm:<br>a) Có tổ chức;<br>b) Lợi dụng chức vụ, quyền hạn;<br>...</code>
  <code>Tiêu chuẩn và trình độ chuẩn được đào tạo của giáo viên giáo dục thường xuyên được quy định như thế nào?</code>	<code>Tiêu chuẩn, trình độ chuẩn được đào tạo của giáo viên<br>1. Giáo viên giảng dạy các chương trình giáo dục thường xuyên cấp trung học cơ sở và chương trình giáo dục thường xuyên cấp trung học phổ thông phải đạt trình độ chuẩn được đào tạo và tiêu chuẩn chức danh nghề nghiệp theo quy định như giáo viên phổ thông tương ứng với từng cấp học.<br>2. Giáo viên tham gia giảng dạy các chương trình giáo dục, đào tạo để lấy chứng chỉ của hệ thống giáo dục quốc dân phải đảm bảo các điều kiện về trình độ chuyên môn, nghiệp vụ theo quy định.<br>3. Giáo viên tham gia giảng dạy các chương trình giáo dục khác của Trung tâm phải đảm bảo các điều kiện về chuyên môn, nghiệp vụ do giám đốc Trung tâm quy định.</code>	<code>Tiêu chuẩn và trình độ chuẩn của giáo viên trong Trung tâm<br>1. Giáo viên trong Trung tâm phải có các tiêu chuẩn sau:<br>a) Có phẩm chất, tư tưởng, đạo đức tốt;<br>b) Đáp ứng chuẩn nghề nghiệp theo vị trí việc làm và đạt trình độ chuẩn được đào tạo về chuyên môn, nghiệp vụ theo quy định tại khoản 2 Điều này;<br>c) Có lý lịch rõ ràng; bảo đảm sức khỏe theo yêu cầu nghề nghiệp.<br>2. Trình độ chuẩn được đào tạo của giáo viên<br>a) Giáo viên dạy trình độ sơ cấp phải có bằng tốt nghiệp trung cấp trở lên hoặc có chứng chỉ kỹ năng nghề để dạy trình độ sơ cấp;<br>b) Giáo viên dạy trình độ sơ cấp quy định tại điểm a khoản này, nếu không có bằng tốt nghiệp cao đẳng sư phạm, cao đẳng sư phạm kỹ thuật hoặc bằng tốt nghiệp đại học sư phạm, đại học sư phạm kỹ thuật thì phải có chứng chỉ nghiệp vụ sư phạm.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 2,000 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 8 tokens</li><li>mean: 24.18 tokens</li><li>max: 44 tokens</li></ul>	<ul><li>min: 28 tokens</li><li>mean: 265.86 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 15 tokens</li><li>mean: 252.19 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>Hồ sơ yêu cầu cấp giấy chứng nhận đăng ký đầu tư có yêu cầu báo cáo đánh giá tác động môi trường không?</code>	<code>“Điều 33. Hồ sơ, nội dung thẩm định đề nghị chấp thuận chủ trương đầu tư<br>1. Hồ sơ đề nghị chấp thuận chủ trương đầu tư dự án đầu tư do nhà đầu tư đề xuất bao gồm:<br>a) Văn bản đề nghị thực hiện dự án đầu tư, gồm cả cam kết chịu mọi chi phí, rủi ro nếu dự án không được chấp thuận;<br>b) Tài liệu về tư cách pháp lý của nhà đầu tư;<br>c) Tài liệu chứng minh năng lực tài chính của nhà đầu tư gồm ít nhất một trong các tài liệu sau: báo cáo tài chính 02 năm gần nhất của nhà đầu tư; cam kết hỗ trợ tài chính của công ty mẹ; cam kết hỗ trợ tài chính của tổ chức tài chính; bảo lãnh về năng lực tài chính của nhà đầu tư; tài liệu khác chứng minh năng lực tài chính của nhà đầu tư;<br>d) Đề xuất dự án đầu tư gồm các nội dung chủ yếu sau: nhà đầu tư hoặc hình thức lựa chọn nhà đầu tư, mục tiêu đầu tư, quy mô đầu tư, vốn đầu tư và phương án huy động vốn, địa điểm, thời hạn, tiến độ thực hiện, thông tin về hiện trạng sử dụng đất tại địa điểm thực hiện dự án và đề xuất nhu cầu sử dụng đất (nếu có), nhu cầu về lao động, đề xuất hưởng ưu đãi đầu tư, tác động, hiệu quả kinh tế - xã hội của dự án, đánh giá sơ bộ tác động môi trường (nếu có) theo quy định của pháp luật về bảo vệ môi trường.<br>Trường hợp pháp luật về xây dựng quy định lập báo cáo nghiên cứu tiền khả thi thì nhà đầu tư được nộp báo cáo nghiên cứu tiền khả thi thay cho đề xuất dự án đầu tư;<br>đ) Trường hợp dự án đầu tư không đề nghị Nhà nước giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất thì nộp bản sao giấy tờ về quyền sử dụng đất hoặc tài liệu khác xác định quyền sử dụng địa điểm để thực hiện dự án đầu tư;<br>e) Nội dung giải trình về công nghệ sử dụng trong dự án đầu tư đối với dự án thuộc diện thẩm định, lấy ý kiến về công nghệ theo quy định của pháp luật về chuyển giao công nghệ;<br>g) Hợp đồng BCC đối với dự án đầu tư theo hình thức hợp đồng BCC;<br>h) Tài liệu khác liên quan đến dự án đầu tư, yêu cầu về điều kiện, năng lực của nhà đầu tư theo quy định của pháp luật (nếu có).<br>2. Hồ sơ đề nghị chấp thuận chủ trương đầu tư dự án đầu tư do cơ quan nhà nước có thẩm quyền lập bao gồm:<br>a) Tờ trình chấp thuận chủ trương đầu tư;<br>b) Đề xuất dự án đầu tư gồm các nội dung chủ yếu sau: mục tiêu đầu tư, quy mô đầu tư, vốn đầu tư, địa điểm, thời hạn, tiến độ thực hiện, tác động, hiệu quả kinh tế - xã hội của dự án; thông tin về hiện trạng sử dụng đất tại địa điểm thực hiện dự án, điều kiện thu hồi đất đối với dự án thuộc diện thu hồi đất, dự kiến nhu cầu sử dụng đất (nếu có); đánh giá sơ bộ tác động môi trường (nếu có) theo quy định của pháp luật về bảo vệ môi trường; dự kiến hình thức lựa chọn nhà đầu tư và điều kiện đối với nhà đầu tư (nếu có); cơ chế, chính sách đặc biệt (nếu có).<br>Trường hợp pháp luật về xây dựng quy định lập báo cáo nghiên cứu tiền khả thi thì cơ quan nhà nước có thẩm quyền được sử dụng báo cáo nghiên cứu tiền khả thi thay cho đề xuất dự án đầu tư.”</code>	<code>Khoản 1. Nội dung chính của báo cáo đề xuất cấp giấy phép môi trường đối với dự án đầu tư đã có quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường trước khi đi vào vận hành thử nghiệm, bao gồm:<br>a) Thông tin chung về dự án đầu tư: tên dự án, chủ dự án; địa điểm thực hiện dự án; cơ quan thẩm định thiết kế xây dựng, cấp các loại giấy phép có liên quan đến môi trường, phê duyệt dự án; quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường của dự án; văn bản thay đổi (nếu có); quá trình thực hiện dự án; quy mô (phân loại theo tiêu chí quy định của pháp luật về đầu tư công), công suất, công nghệ, sản phẩm sản xuất, lượng điện, nguồn và lượng nước sử dụng, nguồn tiếp nhận nước thải, nguyên liệu, nhiên liệu, vật liệu, phế liệu, hóa chất sử dụng và các thông tin khác có liên quan đến dự án;<br>b) Sự phù hợp của dự án đầu tư với quy hoạch bảo vệ môi trường quốc gia, quy hoạch tỉnh, phân vùng môi trường, khả năng chịu tải của môi trường (nếu có);<br>c) Kết quả hoàn thành các công trình, biện pháp bảo vệ môi trường (công trình được bàn giao, nghiệm thu giữa chủ đầu tư, nhà thầu và đơn vị giám sát thi công theo quy định của pháp luật về xây dựng): các công trình, thiết bị thu gom, xử lý nước thải, bụi, khí thải; công trình lưu giữ, xử lý chất thải rắn công nghiệp thông thường, chất thải rắn sinh hoạt, chất thải nguy hại; công trình, biện pháp giảm thiểu tiếng ồn, độ rung; công trình phòng ngừa, ứng phó sự cố môi trường và công trình bảo vệ môi trường khác. Các thông tin chính gồm: quy mô, công suất, quy trình vận hành; hóa chất, chế phẩm sinh học sử dụng để xử lý nước thải; hóa chất, chất xúc tác sử dụng để xử lý bụi, khí thải; các hệ thống thiết bị xử lý chất thải đồng bộ, hợp khối, thiết bị quan trắc tự động, liên tục (đối với trường hợp phải lắp đặt) và thiết bị xử lý khác (kèm theo CO/CQ của thiết bị); các thông số kỹ thuật cơ bản; tiêu chuẩn, quy chuẩn áp dụng. Đối với dự án đầu tư xử lý chất thải rắn tập trung, chất thải nguy hại phải nêu rõ các công trình, thiết bị, phương tiện thu gom và xử lý chất thải. Đối với dự án đầu tư có sử dụng phế liệu nhập khẩu từ nước ngoài làm nguyên liệu sản xuất phải nêu rõ công nghệ sản xuất; điều kiện kho, bãi lưu giữ; hệ thống thiết bị tái chế; phương án xử lý tạp chất; phương án tái xuất phế liệu phù hợp với quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường. Đối với dự án đầu tư có hoạt động xả nước thải vào công trình thủy lợi phải nêu rõ việc thực hiện các yêu cầu về bảo vệ môi trường đối với công trình thủy lợi;<br>d) Kế hoạch, tiến độ, kết quả thực hiện phương án cải tạo, phục hồi môi trường, phương án bồi hoàn đa dạng sinh học (nếu có);<br>đ) Đề xuất nội dung thay đổi so với quyết định phê duyệt kết quả thẩm định báo cáo đánh giá tác động môi trường (nếu có) kèm theo đánh giá tác động đến môi trường từ việc thay đổi này;<br>e) Nội dung đề nghị cấp giấy phép môi trường quy định tại khoản 2 Điều 40 Luật Bảo vệ môi trường;</code>
  <code>Có loại thuốc nào thay thế để điều trị sốt rét thể thông thường (chưa biến chứng) hay không?</code>	<code>III. ĐIỀU TRỊ<br>...<br>2. Điều trị cụ thể<br>2.1. Điều trị sốt rét thể thông thường (chưa biến chứng)<br>...<br>b) Điều trị thay thế<br>Trong trường hợp không có pyronaridin tetraphosphat - artesunat bệnh nhân nhiễm sốt rét có thể được điều trị bằng một trong các thuốc sốt rét sau theo thứ tự ưu tiên:<br>- Artesunat - mefloquin (xem Bảng 9)<br>- Artemether - lumefantrin (xem Bảng 10)<br>- Artesunat - amodiaquin (xem Bảng 11)<br>- Dihydroartemisinin - piperaquin (xem Bảng 12)<br>- Quinin (xem Bảng 6) + clindamycin (xem Bảng 7) hoặc quinin (xem Bảng 6) + doxycycline (xem Bảng 8)<br>...</code>	<code>III. ĐIỀU TRỊ<br>1. Nguyên tắc điều trị<br>- Phát hiện và điều trị sớm bằng thuốc đặc trị đúng và đủ liều;<br>- Điều trị cắt cơn sốt kết hợp với chống lây lan đối với sốt rét do P. falciparum, P. malariae, P. knowlesi và điều trị tiệt căn đối với sốt rét do P. vivax, P. ovale ngay từ ngày đầu tiên;<br>- Các trường hợp sốt rét do P. falciparum không được dùng một thuốc sốt rét đơn thuần, phải điều trị thuốc sốt rét phối hợp hoặc phối hợp các thuốc khác nhau để tăng hiệu lực điều trị và hạn chế kháng thuốc;<br>- Kết hợp điều trị thuốc sốt rét đặc hiệu với điều trị hỗ trợ và nâng cao thể trạng;<br>- Điều trị sốt rét ở người bệnh có bệnh lý kèm theo thì phải điều trị kết hợp bệnh lý kèm theo;<br>- Các trường hợp sốt rét ác tính phải chuyển về đơn vị hồi sức cấp cứu của bệnh viện từ tuyến huyện trở lên, theo dõi chặt chẽ và hồi sức tích cực;<br>- Có thể chỉ định điều trị cho một số trường hợp nghi ngờ sốt rét có dấu hiệu đe dọa đến tính mạng của người bệnh sau khi đã loại trừ các nguyên nhân khác.<br>...</code>
  <code>Nguyên tắc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật được quy định thế nào?</code>	<code>Nguyên tắc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật<br>1. Cơ quan chủ quản chịu trách nhiệm về nội dung thông tin, kết quả hợp tác quốc tế về pháp luật được chia sẻ.<br>2. Việc chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật phải được thực hiện đầy đủ, kịp thời, khách quan, trung thực và bảo đảm tuân thủ các quy định pháp luật về bảo vệ bí mật nhà nước.</code>	<code>Nội dung chia sẻ thông tin, kết quả hợp tác quốc tế về pháp luật<br>Căn cứ từng hoạt động hợp tác quốc tế về pháp luật, thông tin, kết quả hợp tác quốc tế về pháp luật bao gồm một hoặc nhiều các nội dung sau đây:<br>1. Các điều ước quốc tế, thỏa thuận quốc tế về hợp tác pháp luật bằng tiếng Việt và tiếng nước ngoài.<br>2. Các văn kiện chương trình, dự án hợp tác pháp luật; các văn kiện viện trợ phi dự án về pháp luật bằng tiếng Việt và tiếng nước ngoài (nếu có).<br>3. Các loại báo cáo: báo cáo kết thúc chương trình, dự án, viện trợ phi dự án; báo cáo kết quả nghiên cứu; báo cáo kết quả khảo sát.<br>4. Thông tin về chuyên gia tham gia hoạt động hợp tác quốc tế về pháp luật.<br>5. Báo cáo kết quả hội nghị, hội thảo, tọa đàm quốc tế về pháp luật, chương trình, tham luận và các tài liệu khác được phát hành tại hội nghị, hội thảo, tọa đàm.<br>6. Các thông tin khác có liên quan.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 5
• warmup_ratio: 0.1
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.45.2
• PyTorch: 2.4.0+cu121
• Accelerate: 1.0.1
• Datasets: 3.0.2
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->