bge-m3-deepedu

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("hiudev/bge-m3-deepedu")
# Run inference
sentences = [
    'Khi muốn làm nổi bật bông hoa bằng cách làm mờ nền, công cụ nào nên dùng?',
    '<details> <summary>text_image</summary> a) Ānh gốc b) Ānh sau khi tăng độ tương phải </details> Hình 10b.4. Điều chỉnh độ tương phản cho ảnh # c) Độ mò, độ sắc nét (Blur, Sharpen) Phần mềm xử lí ảnh cung cấp công cụ làm mờ, làm sắc nét ảnh. Em có thể sử dụng để làm mờ một vùng quá nổi bật trong ảnh, làm sắc nét riêng một đối tượng hoặc làm mờ nền xung quanh ảnh để làm nổi bật chủ thể bức ảnh.',
    'float Anh\\_Crop \\- Sử dụng công cụ Gradient để đồ màu (chuyển đàn giữa màu nền và màu vẽ) cho lớp Khungvien. Thực hiện các bước như hướng dẫn trong Hình 11b.4. ![](images/c1c902d204cfdc9b814e35d13da30fc207962b5dac51551a3e989b04df6beef1.jpg) <details> <summary>text_image</summary> 1. Chọn công cụ Gradient 2. Nhấy chuột vào hai ô vuông để chọn màu nền và màu vẽ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5892, 0.5468],
#         [0.5892, 1.0000, 0.5841],
#         [0.5468, 0.5841, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 15 training samples
• Columns: <code>anchor</code>, <code>positive</code>, <code>negative_1</code>, <code>negative_2</code>, <code>negative_3</code>, and <code>negative_4</code>
• Approximate statistics based on the first 15 samples:

  	anchor	positive	negative_1	negative_2	negative_3	negative_4
  type	string	string	string	string	string	string
  details	<ul><li>min: 19 tokens</li><li>mean: 22.0 tokens</li><li>max: 30 tokens</li></ul>	<ul><li>min: 33 tokens</li><li>mean: 140.13 tokens</li><li>max: 223 tokens</li></ul>	<ul><li>min: 76 tokens</li><li>mean: 161.8 tokens</li><li>max: 289 tokens</li></ul>	<ul><li>min: 88 tokens</li><li>mean: 174.73 tokens</li><li>max: 282 tokens</li></ul>	<ul><li>min: 72 tokens</li><li>mean: 190.13 tokens</li><li>max: 475 tokens</li></ul>	<ul><li>min: 107 tokens</li><li>mean: 169.13 tokens</li><li>max: 255 tokens</li></ul>

• Samples:

  anchor	positive	negative_1	negative_2	negative_3	negative_4
  <code>Thao tác chèn văn bản vào ảnh để ghi chú và tạo hiệu ứng là gì?</code>	<code># BÀI 10b # THÊM VĂN BẦN, TẠO HIỆU ỨNG CHO ẦNH # Sau bài học này em sẽ: - Thực hiện được các thao tác xử lí ảnh: thêm văn bản, điều chỉnh độ sáng, độ tương phản, làm mờ, làm sắc nét. An: Minh ơi, câu xem một vài bức ảnh tố chụp trường mình này. Tớ muốn chỉnh sửa các ảnh đó và thêm chú thích từng khu vực trong trường vào ảnh để gửi cho bạn học cùng trường tiểu học. Cậu có biết công cụ nào của phần mềm chỉnh sửa ảnh làm được điều đó không? Minh: Có chú. Tór thấy một số ảnh cầu chụp bị tối, cần tăng độ sáng lên và chỉnh thêm về màu sắc ảnh nữa thì sẽ đẹp đáy.</code>	<code>Bước 5: Chèn và định dạng hộp văn bản. a) Chèn hộp văn bản - Tạo hộp văn bản nằm ở lớp trên của các ảnh nền như Hình 3.1. 1. Chèn hình khối chữ nhật đặt ở vị trí lớp trên ảnh nên, di chuyển hình khối tới vị trí chính giữa như Hình 3.1. 2. Chọn hình khối vừa chèn, nháy nút phải chuột, nháy chọn Add Text trong danh sách lệnh hiện ra (Hình 3.5). 3. Con trò soan thảo sẽ xuất hiện bên trong hình khối, cho phép ta gỗ vào nội dung giới thiệu. b) Định dạng hộp văn bản</code>	<code>Hình ảnh được chèn thêm văn bản # 2. TẠO HIỆU ỨNG CHO ẢNH # Hoạt động 2 Độ sáng của hình ảnh 1. Em hãy quan sát các bức ảnh ở Hình 10b.1 và cho nhận xét về độ sáng của mỗi ảnh. 2. Theo em có thể thay đổi độ sáng của ảnh không? Hình ảnh được chụp từ máy ảnh kĩ thuật số không phải lúc nào cũng hoàn hảo.</code>	<code> # Hoạt động khởi động <table><tr><td>Mục tiêu</td><td>Tiền hành</td><td>Kết quả</td><td>Chú ý</td></tr><tr><td>Hoạt động này đặt HS vào việc khi chụp ảnh có thể sẽ gặp phải những bức ảnh như hình 10b.1 và có mong muốn thay đổi, chỉnh sửa để có bức ảnh đẹp hơn.</td><td>– GV yêu cầu HS làm việc theo nhóm. Với mỗi nhóm cụ thể GV cung cấp các hình ảnh khác nhau và yêu cầu HS duża ra mong muốn chỉnh sửa cho bức ảnh nhóm nhận được.– HS đọc nội dung phân khởi động, thảo luận duża ra các ý kiến cá nhân.– GV tổ chức cho cá nhân hoặc nhóm nhận xét các câu trả lời.</td><td>Mỗi nhóm HS sẽ duża ra được ý tưởng thay đổi bức ảnh khác nhau. Tổng hợp các ý kiến và nội dung của hoạt động khởi động chính là nội dung sẽ học trong bài.</td><td>Thời gian cho hoạt động khoảng 5 phút.</td></tr></table> # 1. Thêm văn bản Hoạt động 1. Thêm văn bản vào ảnh <table><tr><td>Mục tiêu</td><td>Tiền hành</td><td>Kết quả</td><td>Chú ý</td><...</code>	<code>Bước 2: Chèn ảnh vào văn bản. Trong tiết lí thuyết, chúng ta đã phân tích Hình 2.1 gồm 4 ảnh với vị trí và bổ cục như Hình 2.8. Để làm được như vậy, lần lượt thực hiện các thao tác sau: <details> <summary>text_image</summary> Ảnh số 1 Ảnh số 2 Ảnh số 3 Ảnh số 4 </details> Hình 2.8.</code>
  <code>Công cụ nào trong phần mềm chỉnh sửa ảnh cho phép điều chỉnh độ sáng và độ tương phản?</code>	<code> <details> <summary>natural_image</summary> Outdoor mural display with colorful painted murals and potted plants, no visible text or symbols </details> a <details> <summary>natural_image</summary> Close-up of a vibrant red rose surrounded by green foliage (no text or symbols visible)</code>	<code>Đặt 1 hạt dưa chuột nằm ngang giữa ô bầu. Dùng ngón tay ấn nhẹ hạt xuống sâu khoảng 0,5 cm. Gạt giá thể xung quanh lên hạt để lắp kín hạt. Dùng ô doa tươi đẩm khay bầu ngay sau khi gieo. Bước 3. Ghi chép nhật kí Ghi thông tin về giống, giá thể worm cây, phân bón và người lao động theo mẫu Bằng 11.2, 11.3. Bước 4. Chăm sóc Hằng ngày tưới giữ ẩm;</code>	<code># 1. Tính oxi hoá # a) Tác dụng với kim loại O nhiệt độ cao, nito tác dụng được với một số kim loại hoạt động như Ca, Mg, Al,... tạo thành nitrua kim loại. Thí dụ : $$ 3 \mathrm{Mg} + \stackrel {0} {\mathrm{N}} _ {2} \xrightarrow {\mathrm{t} ^ {\circ}} \mathrm{Mg} _ {3} \stackrel {- 3} {\mathrm{N}} _ {2} \text { magie nitrua } $$ # b) Tác dụng với hidro O nhiệt độ cao, áp suất cao và có mặt chất xúc tác, nito tác dụng trực tiếp với hidro, tạo ra khí amoniac.</code>	<code>Liu y: Khi giới thiệu động tác mới (đi đều vòng bên phải), GV cân tăng cường sử dụng các phương tiện trực quan, đa dạng hoá các hoạt động trong giờ học để thu hút và tạo hứng thú cho HS, GV không nên sử dụng đơn điều phương pháp giảng giải (thuyết trình) trong thời gian dài. Lời nói của GV phải đơn giản, để hiểu, ngắn gọn và phù hợp với vốn từ vựng của các em. # 2.3. Hình thành động tác mới GV có thể tiến hành nhu sau: – GV làm mẫu, cả lớp quan sát. Sau đó, GV gọi lân lượt một vài HS lên tập động tác đi đều vòng bên phải, cả lớp quan sát và nhận xét bạn tập. - GV gọi 4 - 5 HS lên, huống dẫn cách thực hiện động tác một hàng dọc đi đều vòng bên phải và cho các em thực hiện 1 - 2 lần; cả lớp quan sát và nhận xét. Sau đó, GV cho các hàng thực hiện động tác này.</code>	<code># III. LUYÊN TÂP # GIÁO VIÊN CHO HỌC SINH TẬP LUYÊN VỚI NHẠC # 1. Luyện tập đồng loạt – theo nhóm - Luyên tập đồng loạt: + Giáo viên cho học sinh đúng thành nhiều hàng ngang cách một sai tay và xen kê. + Giáo viên đếm nhịp cho cả lớp cùng tập: Giáo viên đếm chậm từng cử động của động tác cho học sinh tập theo. + Khi học sinh đã thực hiện tương đối theo nhịp chậm, giáo viên sẽ đếm nhịp nhanh hơn theo tốc độ của kĩ thuật động tác. + Giáo viên cho cả lớp cùng đếm để thuộc nhịp động tác, sau đó giáo viên có thể gọi một học sinh lên thực hiện cho cả lớp xem và nhận xét, sửa sai.</code>
  <code>Việc tăng độ sáng cho ảnh có thể gây ra hậu quả gì nếu ảnh ban đầu quá tối?</code>	<code>Hình ảnh được chèn thêm văn bản # 2. TẠO HIỆU ỨNG CHO ẢNH # Hoạt động 2 Độ sáng của hình ảnh 1. Em hãy quan sát các bức ảnh ở Hình 10b.1 và cho nhận xét về độ sáng của mỗi ảnh. 2. Theo em có thể thay đổi độ sáng của ảnh không? Hình ảnh được chụp từ máy ảnh kĩ thuật số không phải lúc nào cũng hoàn hảo.</code>	<code>Tuy nhiên, việc thêm quá nhiều độ mờ, độ sắc nét có thể làm cho hình ảnh trong xấu hơn hoặc dẫn đến mất chi tiết của ảnh. <details> <summary>natural_image</summary> Close-up of a vibrant red rose with green leaves in the background (no text or symbols visible) </details> a) Ảnh gốc <details> <summary>natural_image</summary></code>	<code><details> <summary>text_image</summary> a) Ānh gốc b) Ānh sau khi tăng độ tương phải </details> Hình 10b.4. Điều chỉnh độ tương phản cho ảnh # c) Độ mò, độ sắc nét (Blur, Sharpen) Phần mềm xử lí ảnh cung cấp công cụ làm mờ, làm sắc nét ảnh. Em có thể sử dụng để làm mờ một vùng quá nổi bật trong ảnh, làm sắc nét riêng một đối tượng hoặc làm mờ nền xung quanh ảnh để làm nổi bật chủ thể bức ảnh.</code>	<code># BÀI 10b # THÊM VĂN BẦN, TẠO HIỆU ỨNG CHO ẦNH # Sau bài học này em sẽ: - Thực hiện được các thao tác xử lí ảnh: thêm văn bản, điều chỉnh độ sáng, độ tương phản, làm mờ, làm sắc nét. An: Minh ơi, câu xem một vài bức ảnh tố chụp trường mình này. Tớ muốn chỉnh sửa các ảnh đó và thêm chú thích từng khu vực trong trường vào ảnh để gửi cho bạn học cùng trường tiểu học. Cậu có biết công cụ nào của phần mềm chỉnh sửa ảnh làm được điều đó không? Minh: Có chú. Tór thấy một số ảnh cầu chụp bị tối, cần tăng độ sáng lên và chỉnh thêm về màu sắc ảnh nữa thì sẽ đẹp đáy.</code>	<code>bảo vệ môi trường làng nghề; bảo vệ môi trường khu đủ thị, khu dân cư; bảo vệ môi trường nông thôn; bảo vệ môi trường nơi công cộng và bảo vệ môi trường đối với hộ gia đình, cá nhân. # 1. Ô nhiễm ánh sáng O nhiễm ánh sáng xáy ra do việc sử dụng sai hương (hình 1.2) hoặc quá mức ánh sáng nhân tạo từ đến điện (bảng 1.1). Đảy là tác động tiêu cực của quá trình độ thị hoá, gây ánh hương đến sức khoé, phá vỡ hệ sinh thái. Ảnh sáng chói dẫn đến điều kiện lái xe không an toàn. Tiếp xúc với ảnh sáng lâu sẽ gây ra đau đầu, một mới, lo âu, trầm cảm, căng thẳng thần kinh (rối loạn nhịp sinh học).</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 50.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• learning_rate: 1e-05
• warmup_steps: 0.1
• gradient_accumulation_steps: 16
• bf16: True
• tf32: True
• gradient_checkpointing: True
• dataloader_num_workers: 4

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 8
• num_train_epochs: 3
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 16
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Time

• Training: 1.4 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.8.0
• PyTorch: 2.11.0+cu130
• Accelerate: 1.13.0
• Datasets: 4.8.5
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->