klue-roberta-base-klue-sts-mrc

SentenceTransformer based on hyuk2010/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from hyuk2010/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: hyuk2010/klue-roberta-base-klue-sts <!-- at revision e5630a12cfe51aeb75f55910a4b134c5388393cd -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '실버택배원들의 하루 노동시간은 얼마인가?',
    '지난 13일 부산의 벡스코 제2전시장 4C홀. 부산진구에 사는 정모씨(64)는 진열된 전동카트를 작동하는 직원의 설명을 열심히 듣고 있었다. 부산지역 한 유명 사립대에서 고위 행정직을 지낸 그는 몇 년 전 퇴직한 뒤 쉬다가 소일거리로 실버택배를 하기 위해 이곳을 찾았다. 그는 “아직 몸도 건강해 일할 수 있는 만큼 실버택배를 하게 됐으면 좋겠다”고 말했다.정씨처럼 실버택배에 관심을 기울이는 노년층이 늘고 있다. 실버택배란 은퇴한 노년층 등이 거주하고 있는 동네에서 택배를 전달해 주는 일. 아파트 단지 내 경로당이나 동사무소 앞까지 젊은 택배기사가 물건을 갖다 주면 이를 다시 집집마다 다니면서 배송해주는 업무다.CJ대한통운이 부산시 고령인력종합관리센터, 노인인력교육센터 등과 손잡고 지난 5월 설립한 실버택배전문기업 ‘실버종합물류’엔 200여명의 노년층이 ‘제2의 인생’을 살고 있다. 이들은 실버종합물류가 제공하는 전동카트, 전동자전거 등을 타고 다니며 하루에 50~60여개의 택배 물량을 배송한다. 택배 한 개당 배송 수입은 500원. 이들은 한 달 평균 100만원 가까운 소득을 올리고 있다. 실버종합물류는 실버택배원들의 건강 유지를 위해 하루 4시간씩 교대근무를 할 수 있도록 했다. CJ대한통운은 실버택배에 힘입어 회사의 효율성이 높아지고 있다고 설명했다. 배송의 부담이 없어진 젊은 택배기사가 택배 물량을 받아오는 집하 업무에 집중할 수 있어 더 많은 물량을 취급할 수 있게 됐다는 얘기다. 또 젊은 택배기사도 수입이 늘어나는 효과가 나타나고 있다. 배송은 건당 800원이지만, 집하는 건당 1500원 안팎이기 때문이다.CJ대한통운은 2015년까지 실버택배원을 1000여명 수준으로 늘리기로 했다.',
    '경기 안산시에서 자동차용 매트 제조사에 다니는 김동주 씨(36)는 최근 은행 대출을 받아 전셋집을 옮기려다 포기했다. 연소득 4000만원 이하면 국민주택기금에서 연 3.7%로 빌릴 수 있다고 알고 있었는데 전세금 대출에 실패하고 만 것이다. 연봉 2500만원인 김씨가 대출을 못 받은 이유는 ‘소득 기준’이 올해부터 ‘세대주 단독’에서 ‘부부 합산’으로 바뀌었기 때문이다. 부부 합산 소득이 4500만원인 그는 “초등생 두 딸 교육비와 집세, 부모님 생활비를 드리고 나면 번 돈이 바닥나 저축을 못할 만큼 빠듯한 사정인데 소득이 너무 많아 대출이 안 된다니 당황스럽다”고 하소연했다.국민주택기금의 전세대출 자격이 올해부터 강화되면서 소비자들의 불만이 폭주하고 있다. 대출을 위한 소득요건이 세대주 단독에서 부부 합산으로 변경됐는데도 소득 상한선은 3000만원에서 4000만원으로 소폭 오르는 데 그쳤기 때문이다. 더구나 소득 기준에서 빠져 있던 수당이나 상여금이 올해부터는 연봉에 포함됐다. 서울 금천구 소재 국민은행의 한 영업점 직원은 “정부가 작년 12월21일부터 국민주택기금 전세대출 금리를 연 4.0%에서 3.7%로 내려 찾는 고객이 늘어난 반면 대출 자격은 더 엄격해진 탓에 항의가 빗발치고 있다”고 전했다.국토교통부가 이처럼 전세대출 자격을 강화한 것은 2011년 6월 감사원 지적에 따른 것이다. 당시 감사원은 ‘서민을 지원해야 할 주택기금이 많은 성과급과 상여금을 받는 대기업 고소득자를 지원해 주고 있다’며 소득 기준을 세대주 단독에서 부부 합산으로 바꾸고 수당도 포함하는 방안을 마련하라고 통보했다. 국민주택기금 대출이 안될 때 찾는 시중은행의 일반 전세대출도 더 어려워졌다. 서울보증보험의 보증을 받는 상품의 경우 전세대출금이 6000만원 이하면 마진이 안 남는다는 이유로 시중은행들이 거절하고 있어서다. 서울보증보험에 은행들이 내는 보증료가 건당 30만~40만원이라 대출액이 6000만원(마진율 연 0.5%로 추정) 아래면 본전을 찾기 힘들기 때문이다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Semantic Similarity

• Evaluated with <code>EmbeddingSimilarityEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 17,552 training samples
• Columns: <code>sentence_0</code> and <code>sentence_1</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	<ul><li>min: 8 tokens</li><li>mean: 17.56 tokens</li><li>max: 35 tokens</li></ul>	<ul><li>min: 242 tokens</li><li>mean: 439.49 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  sentence_0	sentence_1
  <code>인수위원회 위원 중 가장 많은 비율을 차지하는 지역은?</code>	<code>4일 발표된 박근혜 대통령 당선인의 대통령직 인수위원회 위원 인선에서도 박 당선인의 ‘대탕평 인사’ 원칙이 그대로 반영됐다. 이른바 친박(친박근혜) 실세와 대구·경북(TK) 인사들이 배제된 반면 전문가 중심의 실무형 인사들이 대거 발탁됐다.○행추위 출신 전문가 발탁 실무급 인사를 포함해 인수위 위원급 이상 27명 가운데 지역별로 TK 출신은 3명에 불과했다. 서울 출신이 12명으로 가장 많았고, 충청·호남 등 비(非) 영남 출신도 9명에 달했다. 친박 측근 역시 빠졌다. 현역 의원 중에서는 경제1·2분과 간사를 맡은 류성걸 의원과 이현재 의원, 국정기획조정분과 위원인 강석훈 의원, 고용복지분과 위원인 안종범 의원, 여성문화분과 위원인 김현숙 의원 등 5명이 합류했다. 이들은 모두 지난해 4·11 총선 당시 전문가 출신으로 국회에 입성한 초선의원들이다. 당선인 측 관계자는 “현역 의원 중에서는 정치인 출신보다는 전문가 출신 실무형 현역을 기용한다는 원칙이 그대로 반영된 인사”라고 해석했다. 측근 실세가 배제되면서 인수위 실무진은 해당 분야 전문가군으로 대거 채워졌다. 특히 지난 대선 과정에서 공약을 총괄했던 행복추진위원회 멤버들이 상당수 인수위원으로 발탁됐다. 이날 발표된 인수위 실무급 인사 22명 중 12명이 행추위 출신이다.외교국방통일분과위원회 간사를 맡은 김장수 전 국방부 장관은 행추위에서 국방안보추진단장을 맡아 관련 공약을 주도했다. 경제1분과 간사인 류성걸 의원은 정부개혁추진단에서 위원으로 활약했다. 경제2분과 간사인 이현재 의원 역시 경제민주화추진단 위원을 맡았다.고용복지분과 간사로 임명된 최성재 서울대 명예교수는 행추위에서 편안한삶추진단장을 지내면서 복지분야 공약 성안을 진두지휘했다. 국정기획조정 위원인 옥동석 인천대 교수는 행추위 정부개혁추진단장을 맡아 정부조직개편 공약을 총괄했다.이 밖에 경제2분과 위원인 서승환 연세대 교수는 행추위 주택부동산TF를 맡았고, 여성문화분과 위원으로 선임된 김현숙 의원은 행복한여성추진단장을 맡아 여성 관련 공약 수립...</code>
  <code>루이비통의 시계,주얼리 제품 중 올해부터 판매 중지되는 상품은?</code>	<code>“파리 샹젤리제 매장에 한국어를 할 줄 아는 직원이 6명이나 돼요.”프랑스 명품 브랜드 루이비통의 전략통으로 꼽히는 함디 챠티 시계·주얼리 부문 부사장(46·사진)은 “전 세계 공항 최초로 인천공항에 루이비통이 단독 매장을 낸 것은 그만큼 한국이 중요하다는 의미”라고 말했다. 지난 2일 스위스 바젤에서 막을 내린 시계박람회(바젤월드)에서 기자와 만난 그는 “싸이의 ‘강남스타일’과 ‘젠틀맨’ 뮤직비디오를 봤다”며 “한국은 유행을 만들어내며 빠르게 성장하는 곳”이라고 강조했다.챠티 부사장은 피아제 이사를 거쳐 해리 윈스턴 부사장을 지냈고 몽블랑 본사에서 시계·주얼리 부문 매니징 디렉터를 맡았다. 루이비통은 시계·주얼리 부문을 강화하기 위해 그를 2010년 부사장으로 스카우트했다. 그는 “많은 사람들이 럭셔리 문화를 경험하도록 하자는 게 루이비통이 지향하는 것”이라며 “루이비통이 만드는 것 자체가 트렌드고 유행”이라고 말했다. 올해 주력제품을 소개해 달라는 말에 그는 ‘탕부르 모노그램 투르비용’(Tambour Monogram Tourbillon)과 ‘탕부르 트윈 크로노’(Tambour Twin Chrono)를 집어들었다. 챠티 부사장은 “탕부르 브랜드를 만든 지 10년 만에 처음으로 오로지 여성만을 위한 탕부르를 만든 것이 모노그램”이라며 “특히 투르비용(중력으로 인한 시간 오차를 줄여주는 장치)을 단 이 모델은 다이아몬드와 핑크 골드 색상으로 여성미를 잘 드러낸다”고 설명했다.탕부르 모노그램 투르비용은 38㎜ 크기로 베젤(테두리)엔 다이아몬드를 세팅했고 다이얼(문자판)은 자개 소재로 만들었다. 오토매틱(자동으로 태엽이 감기는 시계)으로 60시간 파워리저브(한 번 태엽을 감으면 60시간 작동하는 시계). 6시 방향의 투르비용에는 루이비통을 대표하는 모노그램(4개 잎이 달린 꽃 모양)이 1분 단위로 돌면서 꽃 모양을 만들어낸다.챠티 부사장은 “브랜드의 역사와 디자인의 가치를 아는 사람들이 루이비통 신상품을 착용하도록 하겠다”고 말했다. 바젤=민지혜 기자</code>
  <code>골프가 존재하지 않는 남자의 내용을 적은 작가는?</code>	<code>미술작품을 곁들인 에피소드 서양문화사서양의 신화, 종교, 역사, 예술, 과학을 소재로 창작된 미술품 250여점을 골라 각각의 배경 이야기를 소개했다.(차기태 지음, 필맥, 864쪽, 3만원)러시안 다이어리2006년 10월 암살당한 러시아의 양심적 언론인이 푸틴 대통령 체제에서 사망 직전에 몰린 러시아 민주주의의 비참한 현실을 증언한다.(안나 폴릿콥스카야 지음, 조준래 옮김, 이후, 480쪽, 2만3000원)교육과 개인교육에 관한 논의가 지금처럼 자유 대신 평등에만 집착하면 그 사회가 전체주의로 흐르게 된다며 교육을 계층문제가 아니라 학생과 학부모의 개인문제로 봐야 한다고 주장한다.(브렌다 코헨 지음, 김정래 옮김, 교육과학사, 284쪽, 1만3000원) 이제는 매혹적인 대화법이 이긴다급변하는 시대의 다양한 현상을 꿰뚫어 봄으로써 매혹적인 대화법으로 무장하는 방법과 사례들을 소개한다.(이정숙 지음, 나무생각, 256쪽, 1만3800원)난 왜 늘 잘못된 선택을 할까자신의 생각과 정면으로 마주하는 훈련이 필요하다며 한 사람의 생각 발전과정을 하루 동안 동행하면서 들여다보는 듯한 스토리로 들려준다.(황선문 지음, 한울, 211쪽, 1만8000원)사랑과 골프골프전문기자 출신이 쓴 리얼골프 소설. 골프 없이는 인생이 존재하지 않는 남자와 사랑 없이는 골프가 존재하지 않는 여자의 이야기를 그렸다.(김흥구 지음, 글로세움, 560쪽, 1만9000원)How to write English Paragragh and Essay단락의 구조와 전개방식, 에세이에 대한 공부를 통해 영어식 글의 구조를 파악하고 이해할 수 있게 도와준다.(김문수 지음, 신아사, 384쪽, 1만8000원) 잘되는 회사 안되는 회사기업회생 전문가가 다양한 실패 사례 분석을 통해 실패하지 않기 위해 필요한 관리능력과 통찰력, 피하거나 실천해야 할 내용 등을 들려준다.(얀 필로초프스키 지음, 신승미 옮김, 시그마북스, 352쪽, 1만5000원)애 키우는 엄마들을 위한 소자본 창업 쉽게 배우기업종 선택부터 재능·금...</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

</details>

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu126
• Accelerate: 1.12.0
• Datasets: 3.2.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->