medical-bgem3-dense-ko

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Hill-Sachs 병변은 어깨 탈구와 관련된 병변으로, 병변의 크기와 위치에 따라 "on-track" 또는 "off-track"으로 분류된다. 다음 중 "off-track" 병변에 대해 옳게 설명한 것은? 1) 관절 운동 중 Glenoid와 충돌하지 않는다. 2) 관절경적 Bankart 수복술만으로 충분히 치료할 수 있다. 3) 관절 운동 중 병변이 Glenoid와 접촉하여 탈구 재발 위험이 크다. 4) 모든 Hill-Sachs 병변은 "off-track"으로 분류된다. 5) "off-track" 병변은 병변의 크기와 위치에 따라 결정된다.',
    '3) 관절 운동 중 병변이 Glenoid와 접촉하여 탈구 재발 위험이 크다.',
    '혈관조영 CT촬영은 컴퓨터 단층촬영(CT)을 이용하여 혈관의 구조와 상태를 상세히 확인하는 검사입니다. 이 검사는 조영제를 주입하여 혈관 내부를 선명하게 시각화함으로써 혈관의 협착, 폐색, 동맥류, 혈전 등의 이상을 진단하는 데 사용됩니다. 주로 심혈관계 질환, 뇌혈관 질환, 말초혈관 질환 등을 평가하거나 수술 전후의 상태를 확인하는 데 활용됩니다. 검사 과정에서 조영제를 정맥으로 주입하며, 조영제에 대한 알레르기 반응이 있는 경우 사전에 의료진에게 반드시 알려야 합니다. 검사 후에는 충분한 수분 섭취를 통해 조영제가 신속히 배출되도록 하는 것이 중요합니다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.6307, -0.0244],
#         [ 0.6307,  1.0000,  0.0355],
#         [-0.0244,  0.0355,  1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 11,005 training samples
• Columns: <code>anchor</code>, <code>positive</code>, <code>negative_1</code>, <code>negative_2</code>, and <code>negative_3</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative_1	negative_2	negative_3
  type	string	string	string	string	string
  modality	text	text	text	text	text
  details	<ul><li>min: 24 tokens</li><li>mean: 105.57 tokens</li><li>max: 238 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 26.47 tokens</li><li>max: 246 tokens</li></ul>	<ul><li>min: 29 tokens</li><li>mean: 251.96 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 35 tokens</li><li>mean: 262.1 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 35 tokens</li><li>mean: 257.13 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive	negative_1	negative_2	negative_3
  <code>1960년대에 유럽에서 우울증 치료제로 도입된 약물로, 삼환계 항우울제에 속하며 이미프라민의 대사체로 작용하는 약물은 무엇인가?</code>	<code>데시프라민</code>	<code>1. 백내장의 비수술적 치료로는 안경 처방이 시력 개선에 효과적일 수 있습니다. 2. 눈부심을 줄이기 위해 유색 안경이나 모자를 사용하는 것이 도움이 될 수 있습니다. 3. 백내장의 원인과 증상에 대한 교육은 환자에게 유익할 수 있습니다. 4. 금연, 체질량지수 조절, 자외선 차단 등의 생활습관 개선은 백내장의 진행을 늦추는 데 기여할 수 있습니다. 5. 약물적 치료로는 항산화 성분이 포함된 점안액이나 요오드화 칼륨 성분의 점안액을 사용할 수 있습니다.</code>	<code>백내장은 전 세계적으로 예방 가능한 실명의 주요 원인 중 하나로, 단일 질환으로는 가장 큰 비중을 차지합니다. 1995년에 경남 창녕 지역에서 실시된 백내장 유병률 조사에 따르면, 직업별로 농부에서 다른 직업군에 비해 핵백내장의 발생률이 유의미하게 높게 나타났습니다. 성별로는 남성의 유병률이 32.3%였던 반면, 여성의 유병률은 67.7%로, 남성에 비해 여성이 2배 이상 높은 유병률을 보였습니다. 연령에 따른 유병률은 60세를 기점으로 급격히 증가하는 양상을 보였으며, 60대에서는 33.3%와 50.3%, 70대에서는 84.4%와 87.1%의 유병률을 기록했습니다.</code>	<code>1. 갑상선 초음파 검사는 갑상선 결절의 존재 여부를 진단하는 데 사용됩니다. 2. 초음파를 통해 갑상선 결절의 암 위험도를 평가할 수 있습니다. 3. 초음파 검사는 갑상선 결절에 대해 조직검사(생검)가 필요한지 여부를 판단하는 데 도움을 줍니다. 4. 갑상선암 또는 암이 의심되는 결절의 경우, 수술 전에 암이 주변 조직으로 얼마나 퍼졌는지 범위를 평가할 수 있습니다. 5. 초음파 검사는 경부 림프절의 전이 여부를 진단하고, 림프절에 대해 생검이 필요한지 결정하는 데 사용됩니다. 경부 림프절의 전이 여부를 정확히 진단하는 것은 수술 범위를 결정하는 데 매우 중요합니다. 따라서 모든 갑상선 결절 환자에서 초음파 검사를 시행할 때, 갑상선 주변 림프절뿐만 아니라 외측 경부 림프절까지 반드시 평가해야 합니다. 경부 림프절은 초음파 검사 결과에 따라 전이 의심 림프절, 미결절 림프절, 양성으로 추정되는 림프절로 분류할 수 있습니다. 그러나 초음파 검사를 통해 2mm 이하의 미세 전이 림프절을 진단하는 것은 불가능합니다. 따라서 초음파 검사의 주요 목적은 수술 결정에 중요한 거대 전이 림프절을 발견하는 데 있습니다.</code>
  <code>치질 수술 후 회복을 돕는 방법으로 적절한 것은 무엇인가? 1) 냉찜질 2) 온수 좌욕 3) 식이섬유 제한 4) 침상 안정 5) 과도한 운동</code>	<code>2) 온수 좌욕</code>	<code>1. 양성 갑상선 결절의 고주파 절제술은 2007년 12월 1일에 신의료기술로 등재되었습니다. 2. 이 시술은 증상이 있는 양성 갑상선 결절을 대상으로 시행하도록 제안되었습니다. 3. 고주파 절제술은 심폐 기능 저하로 인해 전신마취가 어려운 경우나, 수술로 인해 조직 변형 및 섬유화가 발생하여 유착이 심한 경우에도 시행할 수 있습니다. 4. 재발암의 크기에 대해서는 제한을 두지 않고 시술이 가능합니다. 5. 결절 내 고형 성분이 50% 이상인 경우에는 에탄올 주입술보다 고주파 절제술이 더 권장됩니다. 6. 고주파 절제술의 대상은 생검에서 2회 이상 양성으로 진단된 갑상선 결절로 권고됩니다. 7. 고주파 절제술의 합병증 및 부작용으로는 통증, 목소리 변형, 출혈, 일시적인 갑상선중독증, 영구적인 갑상선 기능 이상, 감염 및 농양 형성, 종양 파열, 피부 화상, 오심, 구토, 혈관 미주신경 반사 등이 다양하게 나타날 수 있습니다.</code>	<code>갑상선 미세유두암의 치료는 과거에는 대부분 수술적 방법이 적용되었습니다. 그러나 최근에는 미세유두암의 예후와 위험도를 종합적으로 평가하여, 모든 환자에게 수술을 시행하기보다는 선별적으로 수술을 결정하는 것이 원칙으로 자리 잡고 있습니다. 특히, 국내외 주요 학회에서는 저위험군에 속하는 미세갑상선암 환자들에게 수술적 치료 대신 적극적 감시(active surveillance)를 우선적으로 권고하고 있습니다.</code>	<code>치밀유방을 가진 서양 여성에서 유방암 검진을 위한 가이드라인에 따르면, 무작위 임상시험 결과 선별 유방촬영술은 유방암으로 인한 사망률을 감소시키는 것으로 나타났습니다. 이 검사의 평균 민감도는 약 75%로 보고되었으나, 치밀유방을 가진 경우 민감도는 약 50%로 매우 낮아지는 것으로 확인되었습니다. 또한, BRCA 유전자 변이가 있는 환자는 대개 나이가 젊고 치밀유방을 가질 가능성이 높습니다. 이러한 환자들에서는 유방초음파 검사와 자기공명영상(MRI) 검사가 유용한 진단 도구로 고려될 수 있습니다.</code>
  <code>마취 중 수혈이 필요한 경우, 사전에 반드시 확인해야 할 것은? 1) 환자의 수혈 동의 여부 2) 환자의 체중 3) 환자의 체온 4) 수술 종류 5) 환자의 혈압</code>	<code>1) 환자의 수혈 동의 여부</code>	<code>혈관성 부종은 모세혈관의 투과성이 증가하여 발생하는 부종으로, 주요 원인으로는 원발성 또는 전이성 뇌종양, 뇌경색의 후기 단계, 그리고 뇌외상이 포함됩니다. 이 유형의 부종은 스테로이드나 만니톨(Mannitol) 치료에 효과를 보입니다. 세포독성 부종은 세포의 부종으로 인해 발생하며, 주로 뇌경색의 초기 단계나 수분중독증과 같은 상태에서 나타날 수 있습니다. 이 경우 스테로이드는 효과가 없으나, 만니톨은 치료 효과를 보일 수 있습니다. 간질성 부종은 뇌척수액의 흡수 장애로 인해 발생하며, 폐쇄성 또는 교통성 수두증과 관련이 있습니다. 이 부종은 스테로이드에 효과가 없으며, 만니톨에 대한 효과는 명확히 밝혀지지 않았습니다. Uncal 탈출(하행성 천막뇌탈출)은 대뇌의 Uncus 부분이 천막(tentorium)을 통해 하방으로 이동하는 상태로, 이로 인해 같은 쪽의 동공이 확장되고, 같은 쪽의 반신마비 증상이 나타날 수 있습니다. 그러나 반대쪽 천막 가장자리(tentorial edge)에 의해 반대쪽 대뇌각이 눌리면서 Kernohan’s notch 효과로 인해 반대쪽에 신경학적 증상이 나타날 수도 있습니다. 중심성 탈출(Central herniation)은 대뇌의 중심부가 아래로 이동하는 상태를 말합니다. 대뇌겸상 탈출(Cingulate herniation)은 대뇌겸상(falx cerebri)을 따라 대뇌의 일부가 이동하는 상태입니다. 두개골 탈출(Transcalvarial herniation)은 두개골의 결손 부위를 통해 뇌 조직이 외부로 돌출되는 상태입니다. 상행성 천막뇌탈출(Upward transtentorial herniation)은 소뇌의 일부가 천막을 통해 위쪽으로 이동하는 상태입니다. 편도체 탈출(Tonsillar herniation)은 소뇌 편도체(cerebellar tonsil)가 대공(foramen magnum)을 통해 하방으로 이동하여 연수(medulla oblongata)를 압박하는 상태를 말합니다.</code>	<code>발기부전의 유병률에 대한 연구 결과는 다음과 같습니다. 1. 한국을 포함한 5개 아시아 국가에서 20세에서 75세 사이의 남성 10,000명 이상을 대상으로 진행된 역학 연구인 "Asian Men’s Attitudes to Life Events and Sexuality"에 따르면, 발기부전에 대한 자가 보고율은 64%로 나타났습니다. 2. 국내에서 40세에서 79세 사이의 남성 1,570명을 대상으로 한 역학 조사에서는 발기부전에 대한 자가 보고율이 13.4%로 보고되었습니다. 3. 또한, 국내에서 3,501명을 대상으로 시행된 설문지 기반 조사에서는 발기부전의 유병률이 36.6%로 나타났습니다.</code>	<code>뇌종양의 발생 빈도를 살펴보면, 가장 흔한 유형은 교종(glioma)으로 전체 뇌종양의 약 4045%를 차지합니다. 그다음으로는 수막종(meningioma)이 약 1520%를 차지하며, 전이성 종양(metastatic tumor)은 약 5%의 빈도를 보입니다. 뇌하수체 선종(pituitary adenoma)은 약 10~15%, 청신경종(acoustic neuroma)은 약 10%, 선천성 종양(congenital tumor)은 약 5%, 혈관성 종양(vascular tumor)은 약 4%의 빈도를 나타냅니다. 뇌종양의 발생 부위는 연령에 따라 차이가 있습니다. 소아의 경우, 약 60%의 뇌종양이 천막하부(infratentorial), 즉 후두와(posterior fossa)에 위치합니다. 이 부위에서 흔히 발생하는 종양으로는 소뇌성 성상세포종(cerebellar astrocytoma), 수모세포종(medulloblastoma), 뇌간 교종(stem glioma), 그리고 뇌실막세포종(ependymoma)이 있습니다. 반면, 성인의 경우 약 80%의 뇌종양이 천막상부(supratentorial)에 위치합니다. 이 부위에서 가장 흔히 발생하는 종양은 다형성 교모세포종(glioblastoma multiforme)입니다.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 50.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2
• num_train_epochs: 2.0
• learning_rate: 1e-05
• warmup_steps: 0.1
• optim: adamw_torch
• weight_decay: 0.01
• gradient_accumulation_steps: 4
• fp16: True
• tf32: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• torch_empty_cache_steps: 50
• data_seed: 42
• dataloader_num_workers: 2
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 2
• num_train_epochs: 2.0
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch
• optim_args: None
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 4
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: {'use_reentrant': False}
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: 50
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: 42
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 2
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• dataloader_multiprocessing_context: None
• dataloader_in_order: True
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}
• warmup_ratio: None

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Training Time

• Training: 2.1 hours

Framework Versions

• Python: 3.12.7
• Sentence Transformers: 5.7.0
• Transformers: 5.15.0
• PyTorch: 2.13.0+cu126
• Accelerate: 1.14.0
• Datasets: 5.0.1
• Tokenizers: 0.22.2

Additional Resources

• Training and Finetuning Embedding Models with Sentence Transformers: the end-to-end guide for training or finetuning Sentence Transformer models.
• Introduction to Matryoshka Embedding Models: variable-size embeddings that can be truncated with minimal quality loss.
• Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval: post-training compression of embedding vectors.
• Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video models through the same API.
• Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: train multimodal embedding models, with a Visual Document Retrieval walkthrough.

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->