modernbert-tr-1k-embed

<p align="center"> <img src="assets/logo.webp" width="20%" alt="ModernBERT-TR 1K Embed" /> </p>

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer

<!-- - **Base model:** [Unknown](https://huggingface.co/unknown) -->

• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'ModernBertModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    "İstisna kapsamında alınan malzemelerden imalatta kullanıldıktan sonra arta kalan ve stok haline gelen kısım için istisna şartları ihlal edilmiş olacağından, stoktaki bu mallara ait hesaplanacak KDV'nin beyannamenin ilave edilecek KDV satırına dahil edilmesi gerekmektedir.",
    'T.C. GELİR İDARESİ BAŞKANLIĞI İSTANBUL VERGİ DAİRESİ BAŞKANLIĞI MÜKELLEF HİZMETLERİ KDV GRUP MÜDÜRLÜĞÜ Sayı :B.07.1.GİB.4.34.17.01-KDV.13-2496 10/08/2012 Konu :13/a kapsamında alınan malzemelerin stoklardan daha sonra başka araca kullanımı İlgide kayıtlı özelge talep formunuzdan, Katma Değer Vergisi Kanununun 13/a maddesi kapsamında istisna belgesine dayanarak aldığınız malzemelerin aracın inşasından sonra stok haline gelmesi ve bu stokta bulunan malzemenin satışının yapılması halinde alan firma 13/a maddesine istinaden istisna belgesine sahipse KDV hesaplamadan teslimde bulunup bulunulamayacağı, stokta kalan malzemenin başka bir teknenin imal ve inşasında kullanılması halinde KDV karşısındaki durumu ve söz konusu tekneleri imal ve inşa etmek üzere kiraladığınız yer için ödenecek bedelin KDV ye tabi olup olmayacağı hususlarında tereddüt hasıl olduğu ve konuyla ilgili olarak Başkanlığımız görüşünün talep edildiği anlaşılmıştır. 3065 sayılı Katma Değer Vergisi (KDV) Kanununun 13/a maddesine göre; faaliyetleri kısmen veya tamamen deniz, hava ve demiryolu taşıma araçlarının, yüzer tesis ve araçların kiralanması veya çeşitli şekillerde işletilmesi olan mükelleflere bu amaçla yapılan deniz, hava ve demiryolu taşıma araçlarının, yüzer tesis ve araçlarının teslimleri, bu araçların imal ve inşası ile ilgili olarak yapılan teslim ve hizmetler ile bunların tadili, onarım ve bakımı şeklinde ortaya çıkan hizmetler ve faaliyetleri deniz taşıma araçları ile yüzer tesis ve araçların imal ve inşası olanlara bu araçların imal ve inşası ile ilgili olarak yapılacak teslim ve hizmetler KDV den istisna edilmiş, söz konusu istisna uygulamasının usul ve esasları 48, 107 ve 116 Seri No.lu KDV Genel Tebliğlerinde açıklanmıştır. Buna göre, Kanunun 13/a maddesinde sayılan araçları inşa eden veya ettiren gerçek usulde KDV mükelleflerinin bu araçların inşası ile ilgili her türlü mal ve hizmet alımlarında istisna uygulanabilecektir. İstisna kapsamında işlem yapılabilmesi için, istisna uygulanabileceğini belirten vergi dairelerinden alınan bir yazının, teslim veya hizmeti yapacak olan mükellefe ibraz edilmesi şarttır. Mükelleflerin bu belge olmadan istisna uygulamaları halinde, istisna uygulaması nedeniyle ziyaa uğratılan vergi, ceza, zam ve faizlerden teslim veya hizmeti yapan mükellefler ile birlikte teslim veya hizmet yapılan alıcı da müteselsilen sorumlu olacaktır. Kendisine, teslim veya hizmetin istisna kapsamına girdiğini belirten vergi dairesi yazısı ibraz edilen mükellefler, başka bir şart aramadan istisna kapsamında işlem yapacaktır. Daha sonra işlemin, istisna için belirlenen şartları baştan taşımadığı ya da şartların daha sonra ihlal edildiğinin tespiti halinde, ziyaa uğratılan vergi ile buna bağlı ceza, faiz ve zamlar, kendisine istisna kapsamında teslim veya hizmet yapılan alıcıdan aranacaktır.\nBu açıklamalar çerçevesinde; İstisna kapsamında alınan malzemelerden imalatta kullanıldıktan sonra arta kalan ve stok haline gelen kısım için istisna şartları ihlal edilmiş olacağından, stoktaki bu mallara ait hesaplanacak KDV nin beyannamenin ilave edilecek KDV satırına dahil etmek suretiyle beyan edilmesi gerekmektedir. Öte yandan, Kanunun 13/a maddesi kapsamında KDV ödenmeksizin temin edilen, ancak kullanıma konu olmayan (artan) malların teslimi, katma değer vergisine tabidir. Ancak, bu malları alan tarafın KDV Kanununun 13/a maddesi ve KDV mevzuatındaki diğer şartları taşıması halinde söz konusu malların tesliminde istisna uygulanacağı tabiidir. Yine stoklarda kalan malların firmanızca istisna kapsamında imal ve inşa edilen başka bir deniz aracının yapımında kullanılması halinde de KDV den istisna olarak işlem yapılması mümkün bulunmaktadır. Bilgi edinilmesini rica ederim. (*) Bu Özelge 213 sayılı Vergi Usul Kanununun 413.maddesine dayanılarak verilmiştir. (**) İnceleme, yargı ya da uzlaşmada olduğu halde bu konuya ilişkin olarak yanlış bilgi verilmiş ise bu özelge geçersizdir. (***) Talebiniz üzerine tayin edilmiş olan bu özelgeye uygun işlem yapmanız hâlinde, bu fiilleriniz dolayısıyla vergi tarh edilmesi icap ederse, tarafınıza vergi cezası kesilmeyecek ve tarh edilen vergi için gecikme faizi hesaplanmayacaktır.',
    'Maalesef evcil hayvanlara izin verilmiyor.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.4692,  0.0970],
#         [ 0.4692,  1.0000, -0.0484],
#         [ 0.0970, -0.0484,  1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 625,121 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>label</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive	label
  type	string	string	float
  modality	text	text
  details	<ul><li>min: 8 tokens</li><li>mean: 27.24 tokens</li><li>max: 182 tokens</li></ul>	<ul><li>min: 6 tokens</li><li>mean: 149.31 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 0.14</li><li>mean: 0.6</li><li>max: 1.0</li></ul>

• Samples:

  anchor	positive	label
  <code>Dışişleri Bakanlığı döneminde Tevfik Rüştü Aras’ın dış politika alanında yürüttüğü faaliyetleri ve Sovyetler Birliği ile ilişkilerinin detaylarını açıklayınız. Hangi önemli görüşmelerde yer aldı ve bu görüşmelerin Türkiye’nin dış politikasına etkileri nelerdir?</code>	<code>1925 yılında III. İnönü Hükûmeti’nde Dışişleri Bakanı olarak atanan Tevfik Rüştü Aras, Atatürk’ün komşu ülkelerle iyi ilişkiler kurmaya yönelik politikasının kilit ismi olmuştur. Sovyet Dışişleri Komiseri Maksim Litvinov’un davetlisi olarak üç kez Sovyetler Birliği’ne gitmiştir; 1926’da Odessa’da, 1930’da ve 1937’de Moskova’da Sovyet ileri gelenleriyle görüşmeler yapmıştır. Bu görüşmeler, Türkiye’nin Sovyetler Birliği ile ilişkilerini güçlendirirken, diğer ülkeler üzerinde siyasi baskıya karşı barışçıl bir dış politikanın izlenmesine de katkıda bulunmuştur. Ayrıca, 1937’de Milletler Cemiyeti Başkanlığı görevini yürüterek uluslararası platformda Türkiye’nin sesini duyurmuştur.</code>	<code>0.5</code>
  <code>Alt işverenlerden temin edilen ve şirketin bilfiil sevk ve idaresi altında çalıştırılan elemanlara ilişkin işgücü temin hizmeti.</code>	<code>T.C. GELİR İDARESİ BAŞKANLIĞI BÜYÜK MÜKELLEFLER VERGİ DAİRESİ BAŞKANLIĞI Mükellef Hizmetleri Grup Müdürlüğü Sayı :B.07.1.GİB.4.99.16.02-KDV-9-115 26/09/2011 Konu :İşgücü hizmetleri ile ilgili KDV tevkifat uygulamasında Vergi Usul Kanunundaki fatura düzenleme sınırının dikkate alınıp alınmayacağı İlgide kayıtlı özelge talep formunuzda, şirketinizin özel iskele, liman, mendireklerin inşa edilmesi, kiralanması, işletilmesi, tahmil ve tahliye hizmetleri, liman hizmetleri, römorkörcülük, deniz kılavuzluğu, brokerlik, acentelik, antrepo, gümrükleme ve her türlü konteynır hizmetleri faaliyeti ile iştigal ettiği belirtilerek, söz konusu hizmetlerin bir kısmının ifasında ihtiyaç duyulan işgücünün alt işverenlerden temini durumunda, fatura düzenleme sınırı altındaki işlemler için, katma değer vergisi tevkifatının uygulanıp uygulanmayacağı hakkında Başkanlığımızın görüşü talep edilmektedir. Katma Değer Vergisi (KDV) Kanununun 9 uncu maddesi ile vergi alacağının emniyet altına alınması amacıyla ve...</code>	<code>1.0</code>
  <code>Amasya Ordu arası otobüs ile kaç saat?</code>	<code>Ortalama 5-6 Saat sürmektedir.</code>	<code>0.16179507423626266</code>

• Loss: <code>main.WeightedCachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 256
• num_train_epochs: 1
• lr_scheduler_type: constant
• weight_decay: 0.01
• gradient_accumulation_steps: 2
• bf16: True
• tf32: True
• gradient_checkpointing: True
• disable_tqdm: False
• dataloader_num_workers: 4
• prompts: {'anchor': 'Instruct: Given a Turkish search text, retrieve relevant passages written in Turkish that best match the search text.\nQuery: '}
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 256
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: constant
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 2
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: {'anchor': 'Instruct: Given a Turkish search text, retrieve relevant passages written in Turkish that best match the search text.\nQuery: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Time

• Training: 2.7 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.5.1
• Transformers: 5.10.2
• PyTorch: 2.11.0+cu128
• Accelerate: 1.13.0
• Datasets: 3.6.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

WeightedCachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->