Arabic-Triplet-Titles-FT

SentenceTransformer based on Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2

This is a sentence-transformers model finetuned from Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2 <!-- at revision 408d483803e83aaea0aceec550deac66e5f8dc11 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Monad-dz/Arabic-Triplet-Titles-FT")
# Run inference
sentences = [
    'حيث أن المادة 358 ق إ م وإ تنص أنه لا يبنى الطعن بالنقض إلا على وجه واحد أو أكثر من الأوجه التالية والوجه الخامس عشر يتضمن وجود مقتضيات متناقضة ضمن منطوق الحكم أو القرار.\n\nحيث أنه يقصد بهذا الوجه أن يكون منطوق القرار المطعون فيه يتضمن مقتضيات متناقضة تحول دون تنفيذه بينما نجد منطوق القرار المطعون فيه نص على إلغاء الحكم المستأنف والقضاء من جديد بإلزام الطاعنة بأن تسدد للمطعون ضده نيابة عن سي العيد أحمد مبلغ 730000دج تعويضا عن الأضرار اللاحقة بسيارته وتحميلها المصاريف القضائية......إلخ.\n\nحيث أن منطوق هذا القرار قابل للتنفيذ ولا يوجد مايمنع من تنفيذه فضلا عن ذلك فإن المجلس بين أسباب إلغاء الحكم وهو أن المطعون ضده قراي فوزي يأخذ التعويضات نيابة عن بن صيد أحمد الموكل عنه بموجب وكالة موثقة إضافة إلى أنه ألزم شركة التأمين بدفع التعويضات وليس كما جاءت به المحكمة بإلزام بوعبسة فارس تحت ضمان شركة التأمين وعليه فشروط الوجه الخامس عشر غير متوفرة ويتعين رفض الوجه ومعه رفض الطعن.\n\nحيث أن الطعن بالنقض هو إجراء مقرر قانونا ولم يثبت من الملف أن الغرض من الطعن هو الإضرار بالمطعون ضده مما يتعين رفض طلب التعويض.',
    'حكم',
    'التماس اعادة النظر',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.8131, -0.5740],
#         [ 0.8131,  1.0000, -0.7326],
#         [-0.5740, -0.7326,  1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 152,246 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 64 tokens</li><li>mean: 211.74 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 4.0 tokens</li><li>max: 4 tokens</li></ul>	<ul><li>min: 3 tokens</li><li>mean: 5.28 tokens</li><li>max: 16 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>حيث يبين من القرار المطعون فيه المؤيد للحكم المستأنف أن موضوع الدعوى يهدف إلى مطالبة المطعون ضده من الطاعنة بتمكينه من تعويض عن منحة الإحالة على التقاعد مؤسسا دعواه على كونه منتسب لدى الطاعنة منذ عدة سنوات إلى غاية إحالته على التقاعد وأنه مستحق لهذه المنحة بعد انخراطه وتعاقده مع الطاعنة وأن قضاة الموضوع استجابوا لطلبه وقضوا له بمبلغ مالي مقابل تعويض التقاعد في حين أن موضوع الدعوى لا يدخل ضمن النزاعات المذكورة على سبيل الحصر في المادة 500 من قانون الإجراءات المدنية والإدارية حتى يخوّل للمحكمة الإجتماعية الفصل في هذا النزاع هذا من جهة ومن جهة أخرى فإن النزاع لا يدخل ضمن العلاقات الفردية والجماعية في العمل بين العمال الأجراء والمستخدمين كما تنص على ذلك المادة الأولى من القانون 11/90 كما لا يدخل في النزاعات الفردية في العمل والمحاكم الفاصلة في المسائل الإجتماعية طالما أنه لا يوجد خلاف قائم بين عامل أجير ومستخدم في إطار تنفيذ علاقة العمل التي تربط الطرفين طبقا لأحكام المادة 02 من القانون 04/90 ومنه فإن النزاع المطروح لا تحكمه قواعد العمل والقواعد المطبقة بشأنه التي تفصل فيها المحاكم الإجتما...</code>	<code>اختصاص نوعي</code>	<code>طعن بالنقض</code>
  <code>حيث يبين من القرار المطعون فيه المؤيد للحكم المستأنف أن موضوع الدعوى يهدف إلى مطالبة المطعون ضده من الطاعنة بتمكينه من تعويض عن منحة الإحالة على التقاعد مؤسسا دعواه على كونه منتسب لدى الطاعنة منذ عدة سنوات إلى غاية إحالته على التقاعد وأنه مستحق لهذه المنحة بعد انخراطه وتعاقده مع الطاعنة وأن قضاة الموضوع استجابوا لطلبه وقضوا له بمبلغ مالي مقابل تعويض التقاعد في حين أن موضوع الدعوى لا يدخل ضمن النزاعات المذكورة على سبيل الحصر في المادة 500 من قانون الإجراءات المدنية والإدارية حتى يخوّل للمحكمة الإجتماعية الفصل في هذا النزاع هذا من جهة ومن جهة أخرى فإن النزاع لا يدخل ضمن العلاقات الفردية والجماعية في العمل بين العمال الأجراء والمستخدمين كما تنص على ذلك المادة الأولى من القانون 11/90 كما لا يدخل في النزاعات الفردية في العمل والمحاكم الفاصلة في المسائل الإجتماعية طالما أنه لا يوجد خلاف قائم بين عامل أجير ومستخدم في إطار تنفيذ علاقة العمل التي تربط الطرفين طبقا لأحكام المادة 02 من القانون 04/90 ومنه فإن النزاع المطروح لا تحكمه قواعد العمل والقواعد المطبقة بشأنه التي تفصل فيها المحاكم الإجتما...</code>	<code>اختصاص نوعي</code>	<code>تنازع اختصاص</code>
  <code>حيث يبين من القرار المطعون فيه المؤيد للحكم المستأنف أن موضوع الدعوى يهدف إلى مطالبة المطعون ضده من الطاعنة بتمكينه من تعويض عن منحة الإحالة على التقاعد مؤسسا دعواه على كونه منتسب لدى الطاعنة منذ عدة سنوات إلى غاية إحالته على التقاعد وأنه مستحق لهذه المنحة بعد انخراطه وتعاقده مع الطاعنة وأن قضاة الموضوع استجابوا لطلبه وقضوا له بمبلغ مالي مقابل تعويض التقاعد في حين أن موضوع الدعوى لا يدخل ضمن النزاعات المذكورة على سبيل الحصر في المادة 500 من قانون الإجراءات المدنية والإدارية حتى يخوّل للمحكمة الإجتماعية الفصل في هذا النزاع هذا من جهة ومن جهة أخرى فإن النزاع لا يدخل ضمن العلاقات الفردية والجماعية في العمل بين العمال الأجراء والمستخدمين كما تنص على ذلك المادة الأولى من القانون 11/90 كما لا يدخل في النزاعات الفردية في العمل والمحاكم الفاصلة في المسائل الإجتماعية طالما أنه لا يوجد خلاف قائم بين عامل أجير ومستخدم في إطار تنفيذ علاقة العمل التي تربط الطرفين طبقا لأحكام المادة 02 من القانون 04/90 ومنه فإن النزاع المطروح لا تحكمه قواعد العمل والقواعد المطبقة بشأنه التي تفصل فيها المحاكم الإجتما...</code>	<code>اختصاص نوعي</code>	<code>تنازع القوانين</code>

• Loss: <code>TripletLoss</code> with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.COSINE",
      "triplet_margin": 0.4
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 45,888 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 59 tokens</li><li>mean: 175.49 tokens</li><li>max: 482 tokens</li></ul>	<ul><li>min: 3 tokens</li><li>mean: 3.35 tokens</li><li>max: 4 tokens</li></ul>	<ul><li>min: 3 tokens</li><li>mean: 5.25 tokens</li><li>max: 16 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>حيث يبين من الوقائع التي أوردها القرار المطعون فيه أنه سبق للطاعن وأن تقدم بدعوى أمام القسم الاجتماعي لمحكمة وهران من أجل المطالبة بدفع اشتراكاته لفترات شغله لدى مصالح وزير المالية المطعون ضده للفترة الممتدة من 01/07/1964 إلى 10/12/1967 وفقا لشهادة عمله حسب مبلغ 5837.76 دج غير أن القضاة لو يبينوا كيف تمسكوا باختصاصهم للفصل في النزاع الحالي<br><br>وحيث أن الاختصاص النوعي من النظام العام طبقا للمادة 36 من ق إ م و الإدارية تقضى به الجهة القضائية تلقائيا في أي مرحلة كانت عليها الدعوى لذلك فإن قضاة المجلس الذين تمسكوا باختصاصهم للفصل في النزاع الحالي يكونون بقضائهم قد خرقوا قاعدة جوهرية في الإجراءات متعلقة بعدم الاختصاص النوعي وعرضوا بذلك قرارهم للنقض و الإبطال .</code>	<code>اختصاص نوعي</code>	<code>طعن بالنقض</code>
  <code>حيث يبين من الوقائع التي أوردها القرار المطعون فيه أنه سبق للطاعن وأن تقدم بدعوى أمام القسم الاجتماعي لمحكمة وهران من أجل المطالبة بدفع اشتراكاته لفترات شغله لدى مصالح وزير المالية المطعون ضده للفترة الممتدة من 01/07/1964 إلى 10/12/1967 وفقا لشهادة عمله حسب مبلغ 5837.76 دج غير أن القضاة لو يبينوا كيف تمسكوا باختصاصهم للفصل في النزاع الحالي<br><br>وحيث أن الاختصاص النوعي من النظام العام طبقا للمادة 36 من ق إ م و الإدارية تقضى به الجهة القضائية تلقائيا في أي مرحلة كانت عليها الدعوى لذلك فإن قضاة المجلس الذين تمسكوا باختصاصهم للفصل في النزاع الحالي يكونون بقضائهم قد خرقوا قاعدة جوهرية في الإجراءات متعلقة بعدم الاختصاص النوعي وعرضوا بذلك قرارهم للنقض و الإبطال .</code>	<code>اختصاص نوعي</code>	<code>دعوى عدم نفاذ التصرف</code>
  <code>حيث يبين من الوقائع التي أوردها القرار المطعون فيه أنه سبق للطاعن وأن تقدم بدعوى أمام القسم الاجتماعي لمحكمة وهران من أجل المطالبة بدفع اشتراكاته لفترات شغله لدى مصالح وزير المالية المطعون ضده للفترة الممتدة من 01/07/1964 إلى 10/12/1967 وفقا لشهادة عمله حسب مبلغ 5837.76 دج غير أن القضاة لو يبينوا كيف تمسكوا باختصاصهم للفصل في النزاع الحالي<br><br>وحيث أن الاختصاص النوعي من النظام العام طبقا للمادة 36 من ق إ م و الإدارية تقضى به الجهة القضائية تلقائيا في أي مرحلة كانت عليها الدعوى لذلك فإن قضاة المجلس الذين تمسكوا باختصاصهم للفصل في النزاع الحالي يكونون بقضائهم قد خرقوا قاعدة جوهرية في الإجراءات متعلقة بعدم الاختصاص النوعي وعرضوا بذلك قرارهم للنقض و الإبطال .</code>	<code>اختصاص نوعي</code>	<code>تنازع اختصاص</code>

• Loss: <code>TripletLoss</code> with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.COSINE",
      "triplet_margin": 0.4
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 640
• per_device_eval_batch_size: 256
• learning_rate: 2e-05
• num_train_epochs: 15
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• push_to_hub: True
• hub_model_id: Monad-dz/Arabic-Triplet-Titles-FT

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 640
• per_device_eval_batch_size: 256
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 15
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: Monad-dz/Arabic-Triplet-Titles-FT
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->