bge-m3-law-morocco-ar-emb

SentenceTransformer based on mhaseeb1604/bge-m3-law

This is a sentence-transformers model finetuned from mhaseeb1604/bge-m3-law. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: mhaseeb1604/bge-m3-law <!-- at revision ee3fb9ef4f76e11e8503fe2634bab31af59f18fc -->
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ychafiqui/bge-m3-law-morocco-ar-emb")
# Run inference
sentences = [
    'أنا صاحب مشروع وتلقيت إشعاراً بمخالفة بناء استناداً إلى المادة 7 من القانون رقم 52.09 كما عدلتها المادة الثانية من القانون رقم 85.21. هل تُطبق هذه التعديلات على المادة 7 اعتباراً من تاريخ صدور القانون 85.21 أم أنها تنطبق فقط على المخالفات اللاحقة؟ كما أن المادة 8 من القانون رقم 52.09 جرت تعديلها وفق المادة الثانية من القانون 85.21، ما التغييرات الجوهرية في الإجراءات والعقوبات التي قد تترتب على ذلك؟ ما هي الخيارات والإجراءات للطعن في القرار المستند إلى هاتين المادتين المعدلتين، وما المواعيد النهائية للطعن بموجب القانون 85.21؟',
    'المادة 7 من القانون رقم 52.09، بمقتضى المادة الثانية من القانون رقم 85.21 السالف الذكر. 8 - تممت وغيرة أحكام المادة 8 من القانون رقم 52.09، بمقتضى المادة الثانية من القانون رقم 85.21 السالف الذكر. -8-',
    'أقدم على إغلاق مؤسسة  يعاقب بغرامة من 15.000 إلى 30.000 درهم كل مؤسس\n\nللرعاية الاجتماعية، دون التصريح بذلك مسبقا لدى الإدارة المختصة وفقا لأحكام المادة 32\n\nأعلاه.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7232, 0.0653],
#         [0.7232, 1.0000, 0.0178],
#         [0.0653, 0.0178, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,200 training samples
• Columns: <code>sentence_0</code> and <code>sentence_1</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	<ul><li>min: 12 tokens</li><li>mean: 129.74 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>min: 2 tokens</li><li>mean: 127.35 tokens</li><li>max: 256 tokens</li></ul>

• Samples:

  sentence_0	sentence_1
  <code>في عقد تأمين، تُطبق فقرة المادة 21 الثالثة عند عدم دفع القسط المستحق قبل انتهاء مهلة العشرة أيام. <br>إذا لم يدفع المؤمن له القسط أو جزء منه قبل انقضاء مهلة العشرة أيام، فهل يصبح فسخ العقد ساري المفعول عند انتهاء هذه المهلة؟ <br>عندما يقرر الفسخ، يجب تبليغه للمؤمن له بواسطة رسالة مضمونة. <br>وتعتبر سريان الفسخ في نهاية اليوم الثلاثين الموالي لتاريخ توجيه الإنذار المنصوص عليه في المادة 21. <br>غير أنه عندما يكون الإنذار موجهاً خارج المغرب، لا يصير سريان الفسخ إلا في نهاية اليوم الخمسين الموالي لتاريخ توجيه الرسالة. <br>بناءً على ذلك، ما النصيحة القانونية أو التفسير الصحيح للمدة والسريان في هذه الحالة؟</code>	<code>لا يصير فسخ العقد ساري المفعول في حالة تطبيق الفقرة الثالثة من المادة 21 أعلاه إلا<br>إذا لم يؤد القسط أو الجزء من القسط قبل انصرام أجل العشرة )10( أيام المنصوص عليه في<br><br>الفقرة الثالثة من المادة 21 أعلاه.<br><br>يصير الفسخ، الذي يجب تبليغه للمؤمن له بواسطة رسالة مضمونة، ساري المفعول في<br>نهاية اليوم الثلاثين )30( الموالي لتاريخ توجيه رسالة الإنذار المنصوص عليها في المادة 21<br>أعلاه. غير أنه عندما يكون الإنذار موجها خارج المغرب، لا يصير الفسخ ساري المفعول إلا<br><br>في نهاية اليوم الخمسين )50( الموالي لتاريخ توجيه الرسالة المذكورة.</code>
  <code>إذا قمت بتشغيل الأجراء في أيام الأعياد المؤدى عنها وفي أيام العطل، ما هي العقوبة المحتملة وفق المادة المذكورة؟ <br>وإذا لم أؤد الأجر عن أيام العطل التي تقرر الأداء عنها باعتبارها أوقات شغل فعلي وفق المادة 218، ما العقوبة وكيف يمكنني تعويض الأجراء؟ <br>إذا لم أقدّر التعويض وفق أحكام المادة 219 ولم أؤدِ التعويض المنصوص عليه في المادة 224 للأجراء الذين اشتغلوا يوم عطلة كما تشير المادة 223، ما التداعيات القانونية؟ <br>وإذا تكررت المخالفات على عدد من الأجراء وتراكمت الغرامات حتى يصل المجموع إلى 20,000 درهم، كيف يتم تطبيق العقوبات وتحديد الأجراء المشمولين؟</code>	<code>يعاقب بغرامة من 300 إلى 500 درهم عن الأفعال التالية:<br><br>- تشغيل الأجراء في أيام الأعياد المؤدى عنها وفي أيام العطل؛<br><br>- عدم أداء الأجر عن أيام العطل التي تقرر الأداء عنها باعتبارها أوقات شغل فعلي<br>طبقا للمادة 218؛<br><br>- عدم تقدير التعويض وفق أحكام المادة 219؛<br><br>- عدم أداء التعويض المنصوص عليه في المادة 224 إلى أجراء المؤسسات المشار<br>إليها في المادة 223 الذين اشتغلوا يوم عطلة يتعطل فيه الشغل ويؤدى عنه الأجر؛<br><br>- عدم إتاحة الراحة التعويضية المنصوص عليها في الفقرة الثانية من المادة 224 وفي<br>المادة 225، أو إتاحتها على نحو يخالف أحكام المادتين المذكورتين؛<br><br>- عدم أداء التعويض المنصوص عليه في المادة 226؛<br><br>- استدراك ساعات الشغل الضائعة بسبب عطلة، وفق شروط تخالف أحكام الفقرتين<br>الأولى والثانية من المادة 227؛<br><br>- عدم إبلاغ العون المكلف بتفتيش الشغل بالتواريخ التي تقرر فيها مباشرة الاستدراك،<br>أو إعلام العون المكلف بالتفتيش، على نحو يخالف أحكام الفقرة الأخيرة من المادة 227؛<br><br>- الأداء عن ساعات الشغل المستدركة، على نحو يخالف أحكام المادة 228؛<br><br>تتكرر عقوبات الغرامة بتعدد الأجراء الذين لم يراع في حقهم تطبيق أحكام ه...</code>
  <code>أنا أمين أوقاف أحلت إلى المجلس حساب أوقاف مع الوثائق المشار إليها في الفقرات 3 و4 من المادة 150 من مدونة الأوقاف. وأرفقت بجانب الحساب جميع الملاحظات التي ترى إدارة الأوقاف فائدة في إبدائها لتوضيح وتدقيق الحساب. هل يلتزم المجلس بإجراء التدقيق وفق هذه الوثائق والملاحظات أم له سلطة رفض بعضها وتحديد ما يحتاجه التدقيق؟ كما أن عنوان الفرع الثاني من الفصل الثاني من الباب الثالث تغير بموجب المادة 2 من الظهير الشريف رقم 1.19.47، فهل لهذا التغيير أثر على تطبيق مواد التدقيق والحساب؟ وفي حال وجود تغييرات إضافية بموجب المادة الأولى من الظهير الشريف نفسه، كيف ينبغي لممثلي الأوقاف تعديل أو مواكبة الحساب المعروض للمجلس لضمان مطابقته للنص المعدل؟</code>	<code>يرفق حساب الأوقاف المحال إلى المجلس بالوثائق المشار إليها في الفقرتين الثالثة<br>والرابعة من المادة 150 من مدونة الأوقاف، وعند الاقتضاء، بجميع الملاحظات التي ترى<br><br>إدارة الأوقاف فائدة في إبدائها، أومن شأنها تقديم توضيحات تساعد المجلس على تدقيق<br>حساب الأوقاف المعروض عليه.<br><br><br>26 - تم تغيير عنوان الفرع الثاني من الفصل الثاني من الباب الثالث بموجب المادة الثانية من الظهير الشريف رقم<br><br>1.19.47 السالف الذكر.<br><br>27 - تم تغيير وتتميم هذه المادة بموجب المادة الأولى من الظهير الشريف رقم1.19.47 بمقتضى المادة الأولى من<br>الظهير الشريف رقم 1.19.47 السالف الذكر.<br><br>28 - تم تغيير الفقرة الأولى من وتتميم المادة 66 بمقتضى المادة الأولى من الظهير ال شريف رقم 1.19.47 السالف<br>الذكر.<br><br>29 - تم تغيير وتتميم المادة بمقتضى المادة الأولى من الظهير الشريف رقم 1.19.47 السالف الذكر.<br><br>30 - تم تغيير وتتميم هذه المادة بمقتضى المادة الأولى من الظهير ال شريف رقم 1.19.47 السالف الذكر.<br><br>- 22 -</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.3
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->