Abjd

SentenceTransformer based on tomaarsen/Qwen3-Embedding-0.6B-18-layers

This is a sentence-transformers model finetuned from tomaarsen/Qwen3-Embedding-0.6B-18-layers. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tomaarsen/Qwen3-Embedding-0.6B-18-layers <!-- at revision 0bf483f51888212cc2906e88687552bc9b169a9e -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: Qwen3Model 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Abdelkareem/ara-qwen3-18")
# Run inference
sentences = [
    'إذا كنت تساوم على سجادة في البازار الكبير سوف تحصل على خلال اثنين أو ثلاثة أكواب من كاي قبل أن يتم الاتفاق على سعر.',
    'قبل الموافقة على السعر سوف تتناولين كوبين أو ثلاثة من الخمر',
    'لا يمكنك المساومة على سجادة في البازار الكبير',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Triplet

• Datasets: all-nli-dev and 1million-qwen-18
• Evaluated with <code>TripletEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 166,507 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 4 tokens</li><li>mean: 24.05 tokens</li><li>max: 113 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 52.3 tokens</li><li>max: 310 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 49.75 tokens</li><li>max: 441 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>الناس يقاتلون</code>	<code>رجلين يضربان بعضهما في الوجه في مباراة ملاكمة</code>	<code>رجلين يمشون على السقالة</code>
  <code>ما هو الحد الذي يصف المسافة من مركز الدائرة إلى أي نقطة على الدائرة؟</code>	<code>مثال على مركز الدائرة. 1 المسافة الثابتة من مركز الدائرة إلى أي نقطة على الدائرة تسمى نصف قطر الدائرة. 2 قطر الدائرة هو قطعة مستقيمة تربط نقطتين على دائرة ويمر بمركز الدائرة.</code>	<code>قطر الدائرة هو المسافة من نقطة على الدائرة إلى نقطة راديان بعيدة ، وهو أقصى مسافة من نقطة على دائرة إلى أخرى.</code>
  <code>تم تحويل مخزن الحبوب في القرن الثالث عشر ، بجانب طاحونة دقيق أقدم ، إلى متحف رائع لرؤوس الأبراج المنحوتة المعروضة على أعمدة أعيد بناؤها.</code>	<code>يمكن للزوار أن يروا العواصم المنحوتة في الدير في المتحف الذي كان يوما مخزن الحبوب.</code>	<code>مخزن الحبوب من القرن الثالث عشر تم التخلي عنه ولم يعد أحد يستخدمه لأي شيء</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 9,250 evaluation samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 4 tokens</li><li>mean: 23.95 tokens</li><li>max: 113 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 50.21 tokens</li><li>max: 321 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 47.97 tokens</li><li>max: 353 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>في تعريف السكان المعرضين للخطر</code>	<code>في الطبيعة المحددة للسكان المعرضين للخطر ، يشير المصطلح إلى عملية أو سلسلة من الأحداث التي يمكن التنبؤ بها والتي تضع المجموعة المعلنة في مسار بعض الضرر المستقبلي. نظرًا لأن المصطلح قد تم استبعاده من السياق ، فليس لدينا أي طريقة للتعامل مع تفاصيل عملية أو حدث المخاطرة. المجموعات السكانية الخاصة) ، والتي لها عوامل فردية أو مركبة تجعلها عرضة لنتائج سيئة. من الواضح أن العوامل تختلف باختلاف فئة الخطر.</code>	<code>تعتمد الممارسة الإحصائية الناجحة على تعريف المشكلة المركّز. في أخذ العينات ، يتضمن ذلك تحديد المجتمع الذي يتم أخذ العينة منه. يمكن تعريف المجتمع على أنه يشمل جميع الأشخاص أو العناصر التي لها الصفة المميزة التي يرغب المرء في فهمها.</code>
  <code>ومع ذلك، فإن العديد من الأنشطة باللغة العبرية فقط.</code>	<code>الكثير من الأنشطة متاحة فقط باللغة العبرية.</code>	<code>كل شيء كان باللغة الإنجليزية</code>
  <code>هل جاذبية المشتري أقوى من الأرض</code>	<code>نتيجة لذلك ، تبلغ جاذبية سطح المشتري (التي تُعرَّف على أنها قوة الجاذبية عند قمم السحابة) 24.79 م / ث ، أو 2.528 جم. الجاذبية على زحل: مثل كوكب المشتري ، زحل هو عملاق غازي ضخم أكبر بكثير وأكثر كتلة من الأرض ، ولكنه أقل كثافة بكثير. باختصار ، متوسط ​​نصف قطرها هو 58232 ± 6 كم (9.13 من الأرض) ، وكتلتها 5.6846 × 1026 كجم (95.15 مرة من الكتلة) ، وبكثافة 0.687 جم / سم 3.</code>	<code>على الأرض: تسارع الجاذبية. . . . . . . . . . . . 9.807 م / ث 2 تسارع مقارنة بكوكب الزهرة. . 111٪ تسارع مقارنة بالمريخ. . . 263.5٪ كتلة الرجل الذي يزن 100 رطل على وجه الأرض. . . . . 45.359 كجم وزن الرجل الذي يزن 100 رطل على كوكب الزهرة. . 110.7 رطل وزن الرجل الذي يزن 100 رطل على المريخ. . . 263.5 رطل على الزهرة: تسارع الجاذبية. . . . . . . . . . 8.858 م / ث 2 تسارع مقارنة بالأرض. . 90.3٪ تسارع مقارنة بـ ...</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.12.11
• Sentence Transformers: 4.0.2
• Transformers: 4.52.4
• PyTorch: 2.7.1+cu126
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->