legal-text-embedding-turkish-v1

SentenceTransformer based on distilbert/distilroberta-base

This is a sentence-transformers model finetuned from distilbert/distilroberta-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: distilbert/distilroberta-base <!-- at revision fb53ab8802853c8e4fbdbcd0529f21fc6f459b2b -->
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("msbayindir/legal-text-embedding-turkish-v1")
# Run inference
sentences = [
    'Davacı vekili dava dilekçesinde özetle; sıra nolu tutarlı çek ( İbraz tarihi sıra nolu tutarlı çek ( İbraz tarihi sıra nolu keşide tarihi çeklerin zayi olduğundan bahisle çeklerin iptaline karar verilmesini talep ve dava etmiştir.',
    'Davacı vekili dava dilekçesinde özetle; müvekkillerinin her türlü ticari defter ve kayıtlarının tutulduğu bilgisayarların bilişim sistemlerine girme saldırısı yaşadığını, şirketlerin tüm verilerinin hacklendiğini beyanla; TTK 82/7. Maddesi uyarınca 2020 yılı Nisan ayından itibaren tutulan tüm defter, fatura ve sair belgelerin zayi olduğunun tespitine karar verilmesini talep ve dava etmiştir.',
    "Davacı vekili dava dilekçesinde özetle; bank A.Ş. Şubesine ait 2 adet çekin müvekkilin elinde kaybolduğunu, çekin yetkili hamilinin müvekkil olduğunu, müvekkilin borçlu Dış Ticaret Ve San. Ltd. Şti.'ne haksız bir ödeme yapmak zorunda kalarak zarara uğramaması için çek hakkında ödeme yasağı kararı verilmesi gerektiğini, teslim alındığı sırada çek fotoğrafının müvekkil tarafından saklandığını, bu nedenlerle 2 adet çeke teminat karşılığında ödemeden men yasağı kararı verilmesine, yargılama sonunda da çekin kaybolması nedeniyle iptaline karar verilmesini talep ve dava etmiştir.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Semantic Similarity

• Dataset: tr-dev
• Evaluated with <code>EmbeddingSimilarityEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 23,103 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	<ul><li>min: 23 tokens</li><li>mean: 174.44 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>min: 35 tokens</li><li>mean: 173.08 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>min: 0.13</li><li>mean: 0.6</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>Davacı vekili dava dilekçesinde özetle, müvekkilinin elinde bulanan ve keşidecisinin müvekkili olduğunu beyan ettiği 3 adet çekin zayi olduğunu, ilgili çekler üzerine ihtiyati tedbir ile ödemeden men yasağı kararı verilmesini ve dava konusu çeklerin iptaline karar verilmesini talep ve dava etmiştir.</code>	<code>Davacı vekili dava dilekçesinde özetle; müvekkillerinin her türlü ticari defter ve kayıtlarının tutulduğu bilgisayarların bilişim sistemlerine girme saldırısı yaşadığını, şirketlerin tüm verilerinin hacklendiğini beyanla; TTK 82/7. Maddesi uyarınca 2020 yılı Nisan ayından itibaren tutulan tüm defter, fatura ve sair belgelerin zayi olduğunun tespitine karar verilmesini talep ve dava etmiştir.</code>	<code>0.5695858597755432</code>
  <code>Davacı vekili dava dilekçesinde özetle; bank Şubesine ait, Keşidecisi Tic. A.Ş. olan, Seri Numaralı, 24.01.2015 keşide tarihli, 25.000 TL bedelli, bank Şubesine ait, Keşidecisi Tic. A.Ş. olan Seri Numaralı, 24.02.2015 keşide tarihli, 25.000 TL bedelli ve bank Şubesine ait, Keşidecisi A.Ş. olan Seri Numaralı, 29.12.2010 keşide tarihli, 5.000 TL bedelli çeklerin kaybolduğunu, bu nedenle çeklerin iptaline karar verilmesini talep ve dava etmiştir.</code>	<code>Davacı vekili dava dilekçesinde özetle; müvekkilin Bankası Şubesi'ne ait 26.500,00 TL lik çeki zilyedinde iken kaybettiğini, çeki tüm aramalarına rağmen bulamadığını, çekin yetkili hamili ve lehtarı olduğunu, bu nedenlerle çek üzerine ödeme yasağı konulmasını, çekin iptaline karar verilmesini talep ve dava etmiştir.</code>	<code>0.74713134765625</code>
  <code>Davacı vekili dava dilekçesinde özetle; müvekkili şirketin keşidecisi, Bankası Şubesi'nin aval veren , dava dışı Tekstil San. Ve Tic. Ltd.Şti'nin muhatabı olduğu 15/06/2017 tarih 103.000,00 TL bedelli ve 21/06/2018 vade tarihli poliçenin müvekkilinin elinde iken kaybolduğunu, poliçe aslının yapılan tüm aramalara rağmen şirket kasasında bulunamadığını, dava konusu poliçe bedelinin ödenmesinin tedbiren önlenmesini ,yargılama sonunda TTK 757 md gere- ğince zayi nedeniyle poliçenin iptalini talep ve dava etmiştir.</code>	<code>İradesi dışında poliçe elinden çıkan kişi, ödeme veya hamilin yerleşim yerindeki asliye ticaret mahkemesinden, muhatabın poliçeyi ödemekten menedilmesini isteyebilir.Mahkeme, ödemeyi meneden kararında muhataba, vadenin gelmesi üzerine poliçe bedelini tevdi etmeye izin verir ve tevdi yerini gösterir.</code>	<code>0.4938291609287262</code>

• Loss: <code>CosineSimilarityLoss</code> with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 5,776 evaluation samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	<ul><li>min: 23 tokens</li><li>mean: 177.14 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>min: 31 tokens</li><li>mean: 171.69 tokens</li><li>max: 256 tokens</li></ul>	<ul><li>min: 0.07</li><li>mean: 0.6</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>Davacı vekili dava dilekçesinde özetle; Müvekkili şirkete sonucu ciro yolu ile verilen, zayi olduğunu, müvekkilinin haklı ve yasal hamili bulunduğu sırada zayi edilen bu çeklerin kötüniyetli üçüncü şahısların eline geçmesi ve müvekkilinin mağdur duruma düşürülmesi mümkün olduğundan zayi edilen bu çek bedelleri üzerine öncelikle ödeme yasağı tesis edilmesine ve bilahare çeklerin iptaline karar verilmesini dava ve talep etmiştir.</code>	<code>İradesi dışında poliçe elinden çıkan kişi, ödeme veya hamilin yerleşim yerindeki asliye ticaret mahkemesinden, muhatabın poliçeyi ödemekten menedilmesini isteyebilir.Mahkeme, ödemeyi meneden kararında muhataba, vadenin gelmesi üzerine poliçe bedelini tevdi etmeye izin verir ve tevdi yerini gösterir.</code>	<code>0.7115448713302612</code>
  <code>Davacı vekili dava dilekçesinde özetle; müvekkilinin dilekçe içeriğinde bildirdiği çekin yasal hamili olduğunu, çekin kaybediğildiğini belirterek çekin üzerine ödeme yasağı konulması ile çekin iptaline karar verilmesini talep ve dava etmiştir.</code>	<code>Kıymetli evrak zayi olduğu takdirde mahkeme tarafından iptaline karar verilebilir.Kıymetli evrakın zayi olduğu veya zıyaın ortaya çıktığı anda senet üzerinde hak sahibi olan kişi, senedin iptaline karar verilmesini isteyebilir.</code>	<code>0.53521329164505</code>
  <code>Davacı vekili dava dilekçesinde özetle; müvekkilinin dilekçe içeriğinde bildirdiği çekin yasal hamili olduğunu, çekin kaybediğildiğini belirterek çekin üzerine ödeme yasağı konulması ile çekin iptaline karar verilmesini talep ve dava etmiştir.</code>	<code>İradesi dışında poliçe elinden çıkan kişi, ödeme veya hamilin yerleşim yerindeki asliye ticaret mahkemesinden, muhatabın poliçeyi ödemekten menedilmesini isteyebilir.Mahkeme, ödemeyi meneden kararında muhataba, vadenin gelmesi üzerine poliçe bedelini tevdi etmeye izin verir ve tevdi yerini gösterir.</code>	<code>0.6673290133476257</code>

• Loss: <code>CosineSimilarityLoss</code> with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->