paraphrase-multilingual-korean-finetuned

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-mpnet-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2 <!-- at revision 84fccfe766bcfd679e39efefe4ebf45af190ad2d -->
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '서도 다른 미용실에서 근무를 하다 피고인이 새로 미용실을 오픈하자\n다시 와서 근무를 하기도 했습니다.\n- 고소인의 남자친구가 신문고에 올린 내용 중 일부(수사기록 제ㅌㅌ쪽 참조) -\n즉 고소인은 피고인과 수차례 합의 하에 성관계를 한 사이이며 그와같\n은 관계가 중단되었다하더라도 어느정도 친밀한 관계를 유지하고 있었\n던 관계라할 것입니다. 이에 당시 고소인을 데리러 왔던 남자친구가 고\n소인의 상태나 분위기가 뭔가 조금 이상하다고 생각하여 추궁을 하며\n혼자 있을 때 블랙박스 영상을 들었는데, 공교롭게도 녹음된 내용이 다\n소 두사람 사이의 관계에 대하여 오인 소지가 있는듯한 대화와 혀차는\n소리가 섞여있자 서로간에 합의 하에 뽀뽀를 한 것 아니냐 강압적인\n몰아가기를 하고 이에 고소인이 강제로 당한 것이라고 변명을 하였고\n이후에는 어쩔 수 없이 추행을 주장하고 있는 것이라 할 것입니다.\n3. 결론\n이상 본 바와같이 이 사건 블랙박스에서 들리는 소리는 뽀뽀 소리가 아닐',
    '3. 결론\n이상 본 바와같이 이 사건 블랙박스에서 들리는 소리는 뽀뽀 소리가 아닐\n가능성이 상당하며 나아가 그 어떤 부분에도 고소인이 주장하는 바와같은\n고소인이 입을 막거나 거부하거나 머리채를 잡는 소리나 상황은 없고 또한\n피고인도 앞좌석에서 대화를 나눈 것으로 보이는 바, 이는 고소인이 거짓말\n을 하고 있는 것으로 고소인의 남자친구가 블랙박스를 들으며 서로 합의하\n에 뽀뽀를 한 것 아니냐고 하니 강제로 당한 것이라 만연히 진술하고 고소\n까지 이르게 되었을 의심을 배제할 수 없다할 것입니다.\n이에 본 사건은 피고인이 강제추행범이라 인정할만큼 합리적 의심의 여지\n없이 확실하다고 볼 수는 없다할 것으로 이와같은 사정을 고려하여 피고인\n에게 무죄를 선고하여 주실 것을 요청드립니다.\n2024. 10.\n위 피고인의 변호인\n법무법인 내일파트너스\n담당변호사 오 명 근\n담당변호사 손 정 미\n의정부지방법원 제 1 형사부 귀 중\n2.',
    '(2) Ba SA warele] Maze Alo] Wow ypyat 1B We Ava\nol sahz} YA] SRS] APS AA] Yo) ZW +H esos Wat\n\nSPSL HA Tael2] Yo weps} wpwelo] BS Ax 2rE WA Woh',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 100 training samples
• Columns: <code>sentence_0</code> and <code>sentence_1</code>
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1
  type	string	string
  details	<ul><li>min: 28 tokens</li><li>mean: 124.92 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 28 tokens</li><li>mean: 124.92 tokens</li><li>max: 128 tokens</li></ul>

• Samples:

  sentence_0	sentence_1
  <code>습니다(’증인 ㅊ에 대한 증인신문조서‘ 0쪽 참조).<br>(이와 관련하여 피고인은 당시 피해자와 키스하고 가슴을 만지는 등 스<br>킨십을 나눌 때 피해자가 ‘아 잠깐만’이라고 하는 등의 별다른 말을<br>하지 않았다고 진술하고 있지만, 이는 당시 피고인이 피해자와의 스킨<br>십에 집중하고 있었고 문제가 되리라 생각을 전혀 하지 않았었기에 당<br>시 상황을 제대로 기억을 하지 못하고 있을 가능성이 높은 것으로, 피<br>해자가 피고인이 키스나 가슴을 만지거나 할 때 스킨십을 너무 급하고<br>과하게 하지 말라는 말로 잠깐만이라는 말을 했을 가능성이 많은 것을<br>자신이 기억나는대로 진술하다보니 제대로 기억하지 못하고 있을 개연<br>성이 높다할 것입니다).<br>- 9 -<br>또한 군인 ㅇ의 경우는 피해자가 나가면서 ‘나 간다.’는 말을 하고<br>나갔다는 진술까지 하고 있는데, 이 역시 침대에 눕혀져 있다 간신히<br>피고인을 설득해 몸을 일으켜세운 뒤 정신없이 황급히 뛰쳐 나갔다는</code>	<code>피고인을 설득해 몸을 일으켜세운 뒤 정신없이 황급히 뛰쳐 나갔다는<br>피해자의 진술과는 정면으로 배치된다 할 것입니다. 즉 피해자가 ‘나<br>간다’는 말을 하면서 나갔다는 것은 당시 상황에 있어서는 피해자가<br>내심에서는 뭔가 불쾌한 것이 있을 수는 있지만 적어도 강간을 당하는<br>상황은 아니었음을 추단케 하는 분명한 증거라 할 것입니다.<br>다. 이와같이 피해자의 진술은 이를 피고인에 대한 유죄의 증거로 삼기에는<br>합리적 의심을 배제할 수 있을 정도로 신빙성이 부족한 것이 분명하다<br>할 것입니다.<br>한편 본 사건은 피고인의 평소 품행 및 사건 경위 그리고 전후의 정황<br>을 고려하더라도 피고인에 대한 유죄의 개연성이 상당히 부족하다 할<br>것입니다.<br>(1) 먼저 피고인은 지금까지 사회생활을 하여오면서 남에게 피해를 주는<br>행동은 하지 않으려 노력하며 성실히 살아왔습니다. 게다가 의사의 경우<br>는 성범죄로 처벌되면 법령상 10년 이상의 취업제한의 조치를 당하기</code>
  <code>또한 피고인은 현장에서 경찰이 출동한 영문을 몰랐고 그 상태에서 고<br>- 5 -<br>소인과 분리되었기에 고소인에게 아래와 같이 문자로 ‘뭐냐’며 당시<br>상황에 대하여 물어보기도 하였습니다.<br>- 증거기록 제118쪽 ‘문자내역’ 참조 -<br>다. 한편 고소인은 주점 사장에게 마치 급박한 피해가 있는 것처럼 이야기<br>하고 갑자기 현장에 경찰까지 출동하자 별다른 일이 없었다고 하는 것<br>이 부담스럽자 옥상에서 내려올 때 피고인이 계단에서 팔을 잡아당긴<br>것에 착안하여 엉겹결에 계단에서 키스를 당한 것처럼 진술을 하였던<br>것으로, 후술하는 바와같이 그 진술은 상식적으로 납득하기 힘든 모순<br>점이 많다할 것입니다.<br>(1) 먼저 고소인은 경찰이 현장에 출동하여 경찰에게 당시 상황에 대하<br>여 자세한 설명을 하였습니다. 그런데 당시는 공소사실과 같이 옥상문<br>앞에서 양볼을 잡고 뽀뽀를 하였다는 진술을 한 적이 없었습니다.<br>고소인은 경찰조사에서 옥상 문 앞에서 있었던 일에 대하여 상당히 상</code>	<code>고소인은 경찰조사에서 옥상 문 앞에서 있었던 일에 대하여 상당히 상<br>세히 진술을 하고 있는데, 그렇다면 경찰이 현장에 출동하였을 때 피고<br>인으로부터 옥상에서 당한 피해를 어느 정도는 이야기하였을 것입니다.<br>- 6 -<br>그런데 아래에서 보다시피 고소인은 사건 당시 경찰이 출동하였을 때<br>옥상에서는 고개를 들어보니 피고인이 옆에 있었고 같이 자고싶다는<br>등의 불편한 말을 하였을 뿐이며 키스는 건물에서 같이 내려오면서 계<br>단에서 몇차례 하였던 것이라 진술을 하고 있을 뿐입니다.<br>- 경찰 임의동행보고서 중 -<br>또한 경찰서에 가서 작성한 진술서에서도 ‘저에게 입맞춤이나 같이 자<br>고 싶다는 말을 그 전에도 했지만 계속해서 ( ) 했습니다.’라고 하여<br>옥상 문 앞에서는 대화만 한 것으로 진술하고 있습니다.<br>- 피해자 작성 경찰 진술서 중 -<br>그런데 고소인은 이후 경찰 조사에서는 계단에서 내려올 때는 입맞춤<br>- 7 -<br>을 한 적 없고 피고인이 팔을 잡았다고 진술하고 옥상 문 앞에서 피고</code>
  <code>려고 하자 ‘피곤하니까 나중에 하자’고 하였고 이에 피고인은 알겠다고<br>하고 같이 안고 잠이 들었습니다. 그러다 한시간쯤 지나 피고인은 잠에<br>서 깨 일어나 피해자에게 키스를 하며 깨우고 다시 관계를 하려고 하였<br>는데 이때도 피해자는 ‘아직 피곤하니 더 자자’고 하여 포기하고 잠이<br>들었습니다. 그리고 이러한 과정을 3번 정도 반복하다 다시 잠이 깬 피<br>고인이 또 성관계를 시도하였는데 이때 피해자가 그제서야 엉덩이를 들<br>어주면서 하의를 벗는 것을 도와주었고 스타킹과 팬티는 피해자가 벗게<br>되어 콘돔을 착용하고 자연스레 성관계를 하였습니다.<br>그렇게 성관계를 마친 두사람은 3시 30분경 집을 나와 피해자가 문정<br>동에 산다고 하여 택시를 타고 가던 중 상린이라는 친구에게 먼저 가는<br>- 3 -<br>것이 좋겠다고 생각해 ㅁ이 산다는 문정동 성당쪽에 가서 편의점에 들<br>어가 물2병을 사서 나누어 마신 뒤 ㅁ을 만나 인사를 나누고 헤어졌습<br>니다.</code>	<code>어가 물2병을 사서 나누어 마신 뒤 ㅁ을 만나 인사를 나누고 헤어졌습<br>니다.<br>마. 그러고 피고인은 집으로 돌아가 쉬고 있는데 갑자기 저녁 7시경 하기싫<br>었는데 왜 했냐는 전화를 받았고 당황스러워 일단 ‘강제로 한 것 아니<br>다’라고 해명하고 달래주었습니다. 그런데 다시 한시간 정도 있다 전화<br>가 와서 피임은 잘 한 것 맞냐고 하며 사후피임약이라도 사먹어야겠다<br>고 하여 계좌번호를 알려달라고 하고 택시비와 병원비조로 10만원을<br>보내주었습니다.<br>이후 피고인은 걱정이 되기도 하여 피해자에게 몇차례 연락을 취했으나<br>답이 없었고 어느날 피해자에게 경찰에 신고하겠다는 전화를 받았으며<br>그뒤로는 아무런 대화를 나누지 않았고, 경찰로부터 연락이 와 당시 피<br>해자는 정신이 있었고 합의 하에 성관계하였다고 적극 해명을 하였으며<br>기소되어 재판을 받는 지금까지 억울함을 호소하고 있습니다.<br>3. 당시 심신상실상태에 있었다고 하는 등의 본 사건에 대한 피해자의 진<br>술은 이를 신빙할 수 없다할 것입니다.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

</details>

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->