KR-SBERT-Medium-extended-patent2023

SentenceTransformer based on snunlp/KR-Medium-extended

This is a sentence-transformers model finetuned from snunlp/KR-Medium-extended on the Patent2024 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: snunlp/KR-Medium-extended <!-- at revision 325e8faed2c4c2b71ae67bee3ac54ec293ff7c17 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • Patent2024

<!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("snunlp/KR-SBERT-Medium-extended-patent2024")
# Run inference
sentences = [
    '본 발명은 웨이트 운동 기기 및 방법에 관한 것이다.',
    '웨이트 운동 기기가 개시된다. 개시된 웨이트 운동 기기는, 사용자의 웨이트 운동에 따라 움직임이 발생하는 운동 본체; 상기 운동 본체의 움직임을 검출하는 센서; 사용자 인터페이스 화면을 출력하는 디스플레이; 및 상기 검출된 움직임에 대응하는 사용자의 운동 상태를 나타내는 제1 인디케이터와 상기 운동 본체를 이용한 운동 시에 권장되는 운동 가이드를 나타내는 제2 인디케이터를 상기 사용자 인터페이스 화면에 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 사용자의 운동 상태에 기초하여, 상기 제2 인디케이터의 위치를 적응적으로 변경하도록 상기 디스플레이를 제어할 수 있다.',
    '본 개시내용의 구현예는 수소화분해된 시클로파라핀을 생성하기 위해 탄화수소 공급물에서 시클로파라핀의 선택적 개환을 위한 방법을 포함한다. 특히, 본 방법은 수소화분해 조건 하에서 시클로파라핀을 포함하는 탄화수소 공급물을 수소 및 비황화, 저산도, 금속 함유 제올라이트를 포함하는 촉매와 접촉시키는 단계를 포함하며, 상기 금속은 백금, 니켈, 로듐 및 이들의 혼합물로 이루어진 그룹으로부터 선택된다. 이 방법은 석유 스트림을 윤활유 베이스 스톡으로 업그레이드하는 데 유용하다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Patent2024

• Dataset: Patent2024
• Size: 89,750 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 4 tokens</li><li>mean: 54.37 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 14 tokens</li><li>mean: 172.19 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive
  <code>본 개시는 스토리지 컨트롤러에 관한 것으로, 보다 상세하게는, 액티브 존 리프레시를 수행하는 스토리지 컨트롤러, 그것의 동작하는 방법, 및 그것을 포함하는 스토리지 장치의 동작하는 방법에 관한 것이다.</code>	<code>본 개시의 일 실시 예에 따른 스토리지 컨트롤러는 호스트 및 비-휘발성 메모리 장치와 통신한다. 스토리지 컨트롤러의 동작하는 방법은, 호스트로부터, 장치 오픈을 위한 제1 상태 천이 요청을 수신하는 단계, 제1 상태 천이 요청에 응답하여, 비-휘발성 메모리 장치의 제1 액티브 존 리프레시를 수행하는 단계로서, 비-휘발성 메모리 장치의 복수의 존들 중에서, 직전 파워-오프 전에 액티브 상태를 갖는 존은 하나의 블록에서 순차적으로 쓰기 가능하도록 처리되는 것, 제1 액티브 존 리프레시를 수행한 후, 제1 버퍼 메모리에 의해, 제1 쓰기 요청에 따라 호스트로부터 복수의 존들 중 제1 존의 제1 블록에 저장될 제1 타겟 데이터를 수신하는 단계, 제1 쓰기 요청을 처리하는 동안, 호스트로부터 제1 파워-오프 요청을 수신하는 단계, 및 제1 파워-오프 요청에 기초하여 제1 블록 대신 비-휘발성 메모리 장치의 제1 PLP(power loss protection) 블록에 제1 타겟 데이터를 저장하는 단계를 포함한다.</code>
  <code>본 발명은 후판 정보 인식의 정확도 향상, 크레인을 통한 후판 운송의 정밀도 향상 및 프로세스 자동화를 위한, 후판 이송 크레인 작업 자동화를 위한 개별 후판 ID 생성 및 이송 메커니즘에 관한 것이다.</code>	<code>본 발명은 후판 정보 인식의 정확도 향상, 크레인을 통한 후판 운송의 정밀도 향상 및 프로세스 자동화를 위한, 후판 이송 크레인 작업 자동화를 위한 개별 후판 ID 생성 및 이송 메커니즘에 관한 것이다.<br>본 발명의 일 실시예에 따른 후판 이송 크레인 작업 자동화를 위한 개별 후판 ID 생성 및 이송 메커니즘은, 크레인과, 상기 크레인에 고정되는 지지부와, 상기 지지부에 형성되어 이송할 후판의 정보를 인식하여 개별 후판 ID를 생성하고, 개별 후판 ID를 전송하는 센서부와, 상기 지지부에 형성되어 후판을 진공으로 흡착하여 들어올리는 진공 그립부와, 상기 지지부에 형성되어 후판을 전자기력으로 부착하여 들어올리는 전자석 그립부와, 상기 센서부와 진공 그립부 및 전자석 그립부를 제어하는 제어부를 포함한다.</code>
  <code>본 발명은 수소 자동차 부품의 평가 방법에 관한 것으로서, 보다 상세하게는 수소 자동차에 사용되는 부품을 고압으로 테스터 하고, 테스터에 사용되는 부품을 평가할 수 있는 수소 자동차 부품의 평가 방법에 관한 것이다.</code>	<code>본 발명은 수소 자동차 부품의 평가 방법에 관한 것으로서, 항온 챔버의 온도를 제1 설정온도로 유지하고, 이중화 솔레노이드 밸브부 및 제1,2 모터구동 밸브부를 제어부에 의해 제어하여 고압 저장 탱크부로부터 공급된 질소의 제1,2 시험압력을 기 설정된 제1 시험 노출시간의 상태에 놓이도록 하여 측정함으로써 고압 테스터 진단 장치의 이상 유무를 시험 평가하고, 고압 테스터 진단 장치의 이상 유무의 시험 평가 후에 테스터 부품의 누출 유무를 시험 평가하는 제1 스테이지 시험평가 단계, 제1 스테이지 시험평가 단계 후에, 항온 챔버의 온도를 제1 설정온도와 다른 제2 설정온도로 유지하고, 제1 시험시간의 상태보다 더 긴 시간의 제2 시험 노출시간의 상태에 놓이도록 하여 질소의 제3,4 시험압력을 측정함으로써 고압 테스터 진단 장치의 이상 유무를 시험 평가하고, 고압 테스터 진단 장치의 이상 유무의 시험 평가 후에 테스터 부품의 누출 유무를 시험 평가하는 제2 스테이지 시험평가 단계, 제2 스테이지 시험평가 단계 후에, 항온 챔버의 온도를 제1,2 설정온도와 다른 제3 설정온도로 유지하고, 제2 시험 노출시간의 상태에 놓이도록 하여 질소의 제5,6 시험압력을 측정함으로써 고압 테스터 진단 장치의 이상 유무를 시험 평가하고, 고압 테스터 진단 장치의 이상 유무의 시험 평가 후에 테스터 부품의 누출 유무를 시험 평가하는 제3 스테이지 시험평가 단계를 수행하는 것을 특징으로 하는 수소 자동차 부품의 평가 방법이 개시된다.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

Framework Versions

• Python: 3.11.9
• Sentence Transformers: 3.0.1
• Transformers: 4.44.0
• PyTorch: 2.3.1
• Accelerate: 0.31.0
• Datasets: 2.19.2
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->