klue-roberta-base-klue-sts-mrc

SentenceTransformer based on Morgan9803/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from Morgan9803/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Morgan9803/klue-roberta-base-klue-sts <!-- at revision de631cd3e21e089249707361dbfea6cec03285da -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '동백꽃 필 무렵이 방송되었던 해는?',
    '네이버 시리즈온이 연말연시를 맞아 ‘릴레이7 영화선물’ 이벤트를 진행한다. 이번에 진행하는 ‘릴레이7 영화선물’은 다가오는 2020년 1월 5일까지 네이버 시리즈온에서 제공하는 인기 영화를 무료로 볼 수 있는 이벤트다. 대표적인 크리스마스 영화로 꼽히는 <러브 액츄얼리> 무료 이벤트가 크리스마스 당일까지 진행되는데 이어, <유열의 음악앨범>, <사자>, <캐롤>, <장난스런 키스>, <베일리 어게인> 등 다양한 장르의 7가지의 영화를 일정 기간 동안 무료로 감상할 수 있다. 뿐만 아니라 2019년 인기 방송 할인 이벤트도 함께 진행된다. 오는 31일까지 드라마 <동백꽃 필 무렵>, <눈이 부시게>, <멜로가 체질>과 예능 <나 혼자 산다>, <아는 형님> 등 올 한해 특별히 사랑받은 드라마와 예능 프로그램, 애니메이션을 30%까지 할인된 가격으로 즐길 수 있다. 이 외에 2019년 인기영화 100 대 할인전에서는 ‘하반기 인기 한국영화’,’ 올 타임 스테디셀러’, ‘가장 많은 사랑을 받은 애니메이션’ 등을 최대 반값에 감상할 수 있다. 코미디, 로맨스, 다큐멘터리 등의 작품을 파격적인 할인 가격으로 선보이기에 영화를 좋아하는 사람들에게는 놓칠 수 없는 절호의 기회다. 네이버 시리즈온 박수연 리더는 “네이버 시리즈온을 이용하는 분들이 올 한해를 따뜻하게 마무리하고 신년을 기분 좋게 시작할 수 있도록 연말연시 이벤트를 준비했다”며 “가족과 함께 볼 수 있는 가슴 뭉클한 작품부터 연인과 보기 좋은 달달한 로맨스, 친구와 즐겁게 웃을 수 있는 유쾌한 코미디까지 다양한 작품들을 준비했으니 많은 관심을 부탁드린다”고 말했다. 한편, 이벤트에 대한 자세한 내용은 네이버 시리즈온 사이트와 모바일 앱에서 확인할 수 있다.',
    '정신과 전문의 하지현에 의하면 좋은 부모는 오히려 아이에게 의존하지 않는 부모이다. 자신의 기대를 아이에게 투사하거나, 자신의 미래나 행복을 포기하면서까지 자식에게 집중하는 것은 잘못된 것이다. 부모가 불안해하거나 자기 삶에 행복을 느끼지 못하는 경우 자녀 교육에도 좋지 않은 영향을 끼칠 수 있다.\n\n최근 들어 아버지의 경우 아이들과 친구처럼 지내려고 하는 경우가 많다. 이는 긍정적인 현상이다. 그러나 분명한 선은 존재해야 하는데, 아버지가 권위적일 필요는 없지만 권위는 있어야 한다. 하지현은 이에 대해 "아빠는 방향을 제시하고 넘어서는 안될 선과 사회적 규율을 내재화해서 훗날 아이가 독립된 성인으로 살아가는 데 필요한 기본적인 내용을 일러주는 ‘선배’ 역할을 할 수 있어야" 한다고 하였다.\n\n자녀가 성장하면서 부모와 다른 의견을 가지거나 틀린 선택을 하는 경우도 있는데 부모가 이런 것을 막으려 한다면 자녀가 독립심을 기르거나 자존감을 기르는 데 문제가 될 수 있다.\n\n칭찬을 할 때도 주의를 기울여서 올바른 방향으로 해야 한다. "항상", "언제나", "늘"과 같은 표현은 완벽을 의미하기 때문에 자녀에게 부담이 될 수 있고 역효과를 불러올 수 있다.\n\n너무 완벽한 부모는 자녀들에게 좌절감을 가져다줄 수 있다. 과거에 비해 저성장 시대가 되면서 자녀들이 부모 세대처럼 성공하기는 어려워졌다. 이러한 상황에서 너무 완벽한 모습만을 보여주는 부모들은 자식들을 지치게 하고 포기하게 만들 수 있다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Semantic Similarity

• Evaluated with <code>EmbeddingSimilarityEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 17,552 training samples
• Columns: <code>sentence_0</code> and <code>sentence_1</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	<ul><li>min: 9 tokens</li><li>mean: 17.57 tokens</li><li>max: 51 tokens</li></ul>	<ul><li>min: 242 tokens</li><li>mean: 431.84 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  sentence_0	sentence_1
  <code>지류상품권으로 메가박스 홈페이지 영화 예매를 하려면 무엇으로 바꿔야 하는가?</code>	<code>코로나19 확산으로 비대면 소비가 크게 늘어나면서 온라인 거래가 급증하고 있다. 특히 이번 추석 이후 기프티콘, 각종 상품권 등 온라인 선물 서비스가 더욱 인기를 끌며 모바일상품권 이용이 활발해지는 추세다. 이러한 트렌드에 맞춰 라이프시어터 메가박스(대표 김진선)도 고객 편의 증진을 위해 컬쳐랜드와 해피머니, 북앤라이프 등 대표적인 문화상품권 3종에 대한 온라인 결제 서비스를 오픈했다고 밝혔다. 메가박스 현장과 온라인에 모바일상품권 결제를 새롭게 추가하고, 영화 예매는 물론 팝콘, 콜라 등 매점 상품도 이용 가능하도록 했다. 지류상품권도 온라인까지 사용처를 확대했다. 새롭게 오픈한 모바일상품권 결제 서비스는 각 상품권 홈페이지 계정 연동 없이 PIN번호와 인증번호 입력만으로도 결제가 가능하다. 메가박스는 지난 7월 멀티플렉스 3사 중 가장 먼저 해피머니 모바일상품권 서비스를 오픈했고 이후 컬쳐랜드, 북앤라이프 모바일상품권도 순차적으로 적용해 문화상품권 온라인 결제 서비스를 완비하게 됐다. 또한 기존에는 지류상품권의 경우 매표소에 직접 상품권을 제시해야 영화를 예매할 수 있었지만, 현재는 메가박스 홈페이지 및 모바일앱 등 온라인으로도 영화 예매가 가능해졌다. 각 상품권 홈페이지에서 지류상품권을 상품권 전용 캐쉬로 전환 후 메가박스 온라인 결제 시 해당 캐쉬를 적용하면 된다. 현장 매표소나 키오스크에서도 각 상품권의 모바일앱 실행 후 바코드 인식을 통해 캐쉬 결제가 가능하다.</code>
  <code>리가 직접 문화를 경험하며 연구했던 대상은?</code>	<code>리의 가장 잘 알려진 작품들 중 하나는 프로젝트들 (1997-2001)이다. 이는 리가 재학 중 드래그 퀸, 펑크, 스윙 댄서, 라티노, 힙합 뮤지션, 스케이트 보더, 레즈비언, 직업인, 한국인 여고생들 등 다양한 사람들과 찍은 사진 시리즈이다. 그녀는 미국의 다양한 문화와 사회 계층들에 자기 자신을 대입하며 그 문화들 속 존재하는 사람들의 일부가 되었다. 포인트-앤드-슛 카메라를 통해 사람들의 모습을 포착하며 그들의 생활을 기록하였다. 리는 아름다운 사진을 찍는 것보다 정체성에 대해 탐구할 수 있는 사진들을 만들어 내는 것이 작가로서의 목표이다. 이 프로젝트를 진행하기 위해 그녀는 특정한 문화계층을 선정하고 그 문화에 속한 사람들의 옷차림을 자기 자신에게 입혔다. 또한 그 사람들과 함께 어울리며 서너달 동안 그녀의 친구, 무리 속 사람들이나 지나가는 행인에게 사진을 찍어달라고 요청하였다.<br><br>비록 그녀의 프로젝트들에 나온 사람들은 각기 다른 모습을 하고 연관성이 없어보이지만 이 다양한 그룹들에 속한 사람들은 모두 유사성을 지니고 있다. 그들은 각자의 문화와 개성이 뚜렷한 집단에 속해 맨하탄 아래 지역에 거주한다. 또한 그들만의 의상 착의는 다른 집단과 차이점을 주는 경계선의 역할을 하기도 하지만 집단 내 사람들을 연결해주는 연결고리 역할 또한 진행한다. 리는 이러한 특징들을 통해 어떻게 집단 속과 밖 관계성들을 통해 하나의 자아가 탄생하는지 탐구한다. 그녀는 인생 자체가 퍼포먼스라고 생각한다. 마치 우리가 겉모습을 바꾸려 의상 착의를 바꾸는 것처럼 자아의 성장과 발달은 개인의 표현력을 통해 보인다.<br><br>리는 작품을 전시할 때 다양한 사진들을 함께 전시하는 것을 선호한다. 그녀는 모든 사진들이 서로 관계성을 지니고 있기 때문에 함께 보여지는 것이 더 효과적이라고 믿는다. 예를 들어 펑크 프로젝트가 펑키해보이는 이유는 펑크 프로젝트가 여피 프로젝트와 함께 보여졌기 때문이다. 그러므로 모든 프로젝트들은 서로를 지지하며 의미 부여하는 역할을 한다. 대중들에게 보여지는 ...</code>
  <code>게임 이용자가 해적을 잡을 때 현상금을 많이 받을 수 있는 곳은?</code>	<code>아이슬란드 개발사 CCP 게임즈의 이브 온라인은 슈퍼캐리어 업데이트 및 현상금 수령 방식 또 교전 감시 시스템 등을 변경하는 업데이트를 발표했다. ‘Vat Out of Hel’ 업데이트를 통해 캡슐리어는 이제 로컬 플릿의 슈퍼캐리어에서 복제되어 함선에 바로 탑승해 전투에 참전할 수 있게 된다. 슈퍼캐리어 사이즈 및 비쥬얼 또한 업그레이드되었다. 역동적 현상금 시스템(DBS)을 널 시큐리티 우주에 새롭게 도입했다. 위험 구역에서 해적을 사냥할 경우 플레이어에게 더욱 더 값진 보상을 제공하는 반면 해적 활동이 통제된 항성계의 경우 현상금 지급 액수가 감소한다. 이러한 변화는 새로운 에덴이 이제 플레이어의 행동에 의해 역동적으로 움직이고 스스로 변화한다는 것을 보여준다. 이에 따라, 코퍼레이션들은 현재의 소득 수준을 유지하기 위해 영역을 효율적으로 활용해야 해야 한다. 교전 감시 시스템(ESS) 업데이트로 인해 더 이상 ESS를 선택적으로 설치할 수 없고 모든 널 시큐리티 항성계에 필수적으로 ESS가 설치된다. ESS의 위치가 공개되며 함급 제한을 지닌 액셀레이션 게이트를 통해 구조물로 접근할 수 있습니다. 좋은 스포츠맨십을 장려하기 위한 특별한 그리드 규칙이 있으며, 현재 참가 PvE 선수들에게 자동으로 지급되며 ESS로 저장되는 현상금은 이제 주 저장고와 예비 저장고 두개로 분할 되어 저장된다. 이러한 업데이트 외에도, 현재 지타 정거장의 레노베이션이 완료되었다. 슈퍼캐리어 비쥬얼 업데이트 제작과정이나 기타 비쥬얼 콘텐츠 관련 더 많은 정보를 얻고 싶다면2020년 11월 10일 저녁 8시 (한국시간)에 CCP트위치 에서 라이브 스트리밍을 시청할 수 있다.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

</details>

Training Logs

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.3.1
• Transformers: 4.45.2
• PyTorch: 2.5.1
• Accelerate: 1.2.1
• Datasets: 2.19.1
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->