klue-bert-neg-full-preprocessed

SentenceTransformer based on klue/bert-base

This is a sentence-transformers model finetuned from klue/bert-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: klue/bert-base <!-- at revision 77c8b3d707df785034b4e50f2da5d37be5f0f546 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/klue-bert-neg-full-preprocessed")
# Run inference
sentences = [
    '전남의 친환경 농가는 몇년도에 11만385 농가로 크게 늘었어?',
    '한때 버려진 땅으로 치부됐던 전남이 \'대한민국 친환경농업 수도\'로 각광을 받고 있다. 친환경 농가는 2009년 11만385 농가로 크게 늘었고, 인증면적 또한 10만4682ha로 껑충 뛰었다. 인증 면적은 전국 51%다. 본지는 친환경농업을 집중 육성 중인 전남도와 농민들의 노력을 소개한다. 대나무의 고장 전남 담양. 대나무 못지않게 유명한 게 친환경농업이다. 지난해 대한민국 친환경농업대상에서 최우수 군으로 선정됐다. 전남도가 선발한 유기농 명인 12명 중 3명이 담양 출신이다. 영산강 시원지인 담양군은 그동안 친환경농업을 꾸준히 육성했다. 2006년 친환경농업육성 조례를 만들었고 친환경농업육성계획을 7년간 추진했다. 지난해 기준 친환경인증면적을 3956ha. 2009년 보다 무려 1533ha가 늘었다. 전체 경작면적 중 40%가 친환경이다. 이는 전남 22개 시·군에서 두 번째로 많은 면적이고 딸기와 토마토 등이 유명하다. 토마토도 유명하다. 토마토 친환경 재배농가는 모두 115농가. 한해 3150톤을 생산하고 있다. 지난해에는 일본 등에 50만 달러어치를 수출했다. 재배 농가는 일손이 적게 드는 장점 때문에 계속 늘고 있다. 딸기처럼 ISO 9001과 14001 인증을 받았다. 명품 토마토를 생산하기 위해 \'토마토 명품화단지\'를 조성 중이며, 현장 기술 지도를 강화하고 있다. 명품화단지 대상자로는 \'대숲토마토 연합사업단\'이 선정됐다. 이 사업에 농가 60여명이 참여 중이다. 토마토는 비타민과 섬유질이 풍부해 다이어트 식품으로 인기다. 토마토 명품화 전략과 다이어트 열풍이 맞아떨어지면 농가 소득도 점차 올라가고 있다. 유기농 방울토마토는 1kg에 평균 7500원대에 거래되고 있다. 유기농 토마토를 생산하는 이병호(55·용면)씨는 "올해부터 유기농을 찾는 고객들이 부쩍 늘었다"면서 "일반 농법에 비해 가격이 두 배 정도 비싸다"고 말했다.',
    '전남도가 최근 친환경 농업분야에서 명실상부한 대세를 이룬 가운데 창의성과 전문성을 갖춘 유기농 명인 발굴에 발벗고 나섰다. 전남도에 따르면 농도인 전남이 친환경농업을 활성화하기 위해 지난 2010년 전국 최초로 유기농 명인 지정 조례를 제정하고 지난해까지 22명의 유기농 명인을 배출했으며 이들이 친환경농업을 성장시키는 견인차 역할을 톡톡히 해냈다는 평가를 받았다. 실제로 배출된 유기농 명인 가운데 자연 그대로 농법으로 14년간 유기농업을 실천한 배 명인 조효익 씨, 클래식과 전통음악으로 \'그린음악농업\'을 실천한 벼 명인 오경배 씨, 17년째 무경운 농법으로 오이를 재배한 김태현 명인에 이르기까지 그들의 삶에 일찌감치 농사철학이 담겨있음을 볼 수 있었다. 전남도는 올해도 유기농 명인 발굴을 위해 그동안 명인이 배출되지 않았던 지역과 품목 위주로 오랫동안 자신만의 길을 고집하면서, 여러 시행착오를 거쳐 유기농업을 묵묵히 실천해 온 농업인 등 숨은 유기농 명인 찾기에 주력할 계획이다. 유기농 명인으로 추천된 대상자는 1차 서류심사와 2차 전문가 현지실사를 거쳐, 유기농업 경력을 비롯 독창적 농법 개발 등을 종합적으로 평가해 전남도 친환경농업추진위원회 심의에서 2021년도 유기농 명인으로 최종 선정된다. 이정희 전남도 친환경농업과장은 "우리 전남이 세계 선진국들과 어깨를 나란히 하기 위해서는 분야별‧품목별 창의성과 전문성을 갖춘 저비용‧고품질 유기농법을 적극 발굴하고 확산해야 한다"며 "유기농 명인이 국민의 건강한 먹거리 생산에 중요한 역할을 하는 만큼 판로 확보에 최선의 노력을 다하겠다"고 말했다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 482,494 training samples
• Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	<ul><li>min: 9 tokens</li><li>mean: 23.27 tokens</li><li>max: 91 tokens</li></ul>	<ul><li>min: 52 tokens</li><li>mean: 320.92 tokens</li><li>max: 512 tokens</li></ul>	<ul><li>min: 42 tokens</li><li>mean: 343.0 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive	negative
  <code>버추얼텍의 상장주식수 대비 거래량은 얼마야?</code>	<code>버추얼텍(036620)이 10일 오전 11시 40분 현재 5.23% 오른 2,615원에 거래 중이며, 체결강도는 102%로 강세 반전했다. 총매수체결량은 1,220,263주, 총매도체결량은 1,201,473주를 각각 기록했다. (※ 체결강도(%) = (총매수체결량/총매도체결량)*100) 지난 1개월간 버추얼텍은 129.39% 상승했으며, 표준편차는 9.76%를 기록했다. 이 기간 apos;유통업apos; 업종 평균 주가수익률은 16.54% 로 나타났으며, 변동성은 2.98%를 기록했다. 이 시각 현재 apos;유통업apos;은 2.37% 하락중이며, 40(매도):60(매수)의 매수우위를 기록하고 있다. 버추얼텍의 총 상장 주식수는 27,746,496주이며, 이 시각 현재 거래량은 2,434,338주로 상장주식수 대비 거래량은 8.77% 로 나타난다. 지난 1개월간 버추얼텍의 거래량 회전율은 551.34% 를 기록했다. [이 기사는 증시분석 전문기자 서경뉴스봇(newsbot</code>	<code>□ 7월 1일 4,689억원에서 시작한 시가총액은 11월말 현재 35.6%가 증가한 6,732억원이며, 일평균 거래대금은 3.7억원, 누적 거래대금은 382.2억원임 <br>○ 일평균 거래량은 56천주, 누적 거래량은 5,774천주임</code>
  <code>어디에서 한국과 말레이시아 간의 산업협력워킹그룹회의가 열리지</code>	<code>중소 부품기업, 말레이시아 자동차시장 진출 계기 마련 <br>제2차 한-말레이시아 산업협력워킹그룹회의 개요<br>1. 추진 배경<br>□ 2012.7월 체결한「한-말련 산업협력 MOU」이행을 위해 공동 관심 분야를 중심으로 협력과제 발굴 등 구체적인 협력방안을 협의<br> 호혜적, 전략적 경협 파트너쉽 구축을 위해 협력의 시발점으로 자동차, 전기․전자, 플랜트, 무역투자제도 등 4분야 선정(우리부 장관&말련 통상산업부 장관)<br>2. 행사 개요<br>□ 일시 및 장소 : 2013. 11. 28(목) 10:00~20:30, 르네상스 호텔(만찬 포함)<br>□ 참석자 : 양국 정부관계자, 유관기관, 협회, 기업 등 약 87명<br>ㅇ (우리측) 도경환 통상협력국장(수석대표) 등 민 관 대표단 60여명<br>ㅇ (말련측) 마지드 산업정책총국장(수석대표) 등 민 관 대표단 27명<br>□ 주요내용 : 협력의제별 진전사항을 점검하고(Joint WG), 분과별 협력과제 발굴 등 구체적인 협력방안 협의*(Sub WG)<br>* 자동차 공동 R&D, 중소기업지원방안, 플랜트, 수입규제, 진출기업애로 해소 방안 등</code>	<code>산업통상자원부 장관, 한-인도네시아 산업협력 포럼 참석<br>□ 백운규 산업통상자원부장관은 2018. 9. 10.(월) 롯데호텔 크리스탈 볼룸 에서 열린 「한-인도네시아 산업협력 포럼」에 참석했다. * 한-인도네시아 산업협력 포럼 개요<br>- (일시 및 장소) 2018.9.10(월) 09:00~13:00, 서울 롯데호텔 크리스탈 볼룸<br>- (목적) 인도네시아 대통령 방한 계기 경제협력 확대방안 모색, 신협력분야 발굴<br>- (참석) (한) 산업통상자원부 장관, 신남방정책특별위원회 위원장, (인니) 조코위 대통령, 산업부 장관, 투자조정청 청장 등<br>ㅇ 백 장관은 동 포럼 환영연설을 통해 문재인 대통령 취임 이후 최초의 국빈방문지(2017년 11월)인 인도네시아와 한국이 ❶제조업 협력 확대, ❷인프라 협력 강화, ❸4차 산업혁명 등 미래 협력 강화, ❹자유롭고 공정한 무역을 위한 협력을 강화할 것을 제안했다. - (제조업) 양국은 초기 봉제, 신발 등 경공업을 거쳐 철강, 석유화학 등 분야로 제조업 협력을 확대해 왔다고 평가하고, 자동차, 공작기계, 엔진, 화장품 등으로 협력 분야 확대를 희망<br>* (자동차) 2017.11월 인도네시아 국빈방문시 체결한 「산업협력 MOU」에 근거하여 '한-인도네시아 자동차 대화(Automotive Dialogue)' 개최(2018.8.24) 등<br>* (공작기계, 엔진, 화장품) 조코위 대통령 방한 계기에 협력 MOU 체결</code>
  <code>납입할 세액이 2천만원을 넘어선 경우 납부기한 안에 일부를 납부 하고 나머지는 세무서에 담보를 제공하고 나누어 내는 방법은 뭐야</code>	<code>납부할 세액이 2천만원을 초과하는 경우 납부기한 내에 일부를 납부 하고 나머지는 세무서에 담보를 제공하고 연부연납기간 내에 나누어 낼 수 있는데 이를 ‘연부연납’이라 한다. 연부연납 기간은 연부연납허가일로부터 일반적인 경우에는 5년 내로 하며, 상속재산 중 가업상속재산이 차지하는 비율이 50% 미만이면 허가 후 2년이 되는 날로부터 5년, 50% 이상이면 허가 후 3년이 되는 날로부터 12년 내로 한다. 즉, 일반적인 경우에는 신고기한(상속개시일의 말일부터 6개월) 내에 1/6을 납부하고 나머지 5/6는 매년 1/6씩 5년간 납부할 수 있으며, 가업상속 재산의 경우 나머지는 허가 후 2년이 되는 날로부터 매년 1/6씩 5년간, 상속재산 중 가업상속재산이 50% 이상인 경우에는 허가 후 3년이 되는 날로부터 매년 1/13씩 12년간 납부할 수 있다. 연부연납을 하려면 상속세를 신고할 때 또는 세금고지서상의 납부기한 내에 관할 세무서장에게 신청하여 허가를 받아야 한다. 또한 연부연납을 하는 때에는 연부연납세액 중 납부하지 아니한 금액에 대하여 일정한 이자를 부담하여야 한다.</code>	<code>나. 세법<br>□ 기부활성화와 관련된 세법 개정 내용을 살펴보면, 2018년 세법 개정을 통해 다음과 같이 세제지원이 확대된 바 있음 ○ 개인기부금에 대한 세액공제 고액 기준이 2천만원에서 1천만원으로 인하됨<br>- 기부금 1천만원 이하에 대해 15%, 1천만원을 초과하는 기부금에 대해 30%의 공제율이 적용됨<br>○ 지정 및 법정기부금의 손금산입한도 초과액에 대한 이월공제기간이 5년에서 10년으로 확대됨<br>○ 사회적기업이 지출한 지정기부금의 손금산입한도가 10%에서 30%로 확대됨</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 24
• per_device_eval_batch_size: 24
• learning_rate: 1e-05
• num_train_epochs: 10
• warmup_steps: 500
• bf16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 24
• per_device_eval_batch_size: 24
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 500
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 2
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>

The model card is truncated. Read the rest on Hugging Face.