our-bert-no-negative-10000

SentenceTransformer based on Atipico1/bert-checkpoint-980000

This is a sentence-transformers model finetuned from Atipico1/bert-checkpoint-980000. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Atipico1/bert-checkpoint-980000 <!-- at revision 341a832d3a3affdc0f8ecf41b5ead7074d3452fd -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Atipico1/our-bert-no-negative-10000")
# Run inference
sentences = [
    '비정규노조에 따르면 경찰은 어떻게 안 위원장을 납치했는가?',
    '경찰이 현대자동차 비정규직 노조위원장을 체포해 노동계가 거세게 반발하고 있다. 울산 동부 경찰서는 안기호 위원장이 지난달 18일부터 파업을 주도해 자동차 생산에 큰 차질을 빚어 ‘업무 방해’를 했다고 밝혔다. 하지만 경찰의 노조위원장 체포는 그 과정부터 적법성이 문제점으로 드러나고 있다. 비정규노조가 밝힌바, 경비대가 조합원 3명과 점심을 먹으려고 농성장에서 식당으로 가던 안 위원장을 미리 대기하고 있던 차량으로 ‘납치’했고, 문제의 차는 공장 정문으로 이동해 밖에서 대기하던 경찰차로 옮겨졌다고 한다. 결국 경영진과 경찰의 ‘합동작전’으로 파업 중인 노조위원장을 체포한 셈이다. 경영진은 이에 앞서 노조위원장을 비롯해 비정규직 노동자 84명을 경찰에 고발했다. 현재 경영진은 ‘납치’를 부인하며, 안 위원장이 공장 밖으로 스스로 나가다 경찰에 연행됐다고 주장하는 것으로 알려졌다. 하지만 상식으로 판단하더라도, 파업 중인 노조위원장이 제 발로 공장 밖으로 나가리라고 보기 어렵다. 더구나 수많은 사람들의 목격담이 나오고 있다. 안 위원장을 납치해 경찰에 인계하는 과정에서 경비대가 얼굴을 비롯해 온몸을 폭행했다는 가족들의 ‘증언’도 나왔다. 만일 노조의 주장이 사실이라면, 경찰이 먼저 할 일은 안 위원장 체포과정에서 누가 어떤 폭력을 저질렀는지에 대한 진상 규명이다. 더 심각한 문제는 현정부의 비정규직 대책이 원시적 수단을 동원해 탄압하는 수준까지 갔다는 데 있다. 이미 현대차 비정규직노조는 부위원장과 사무국장이 감옥에 갇혀 있는 상황이다. 거기에 더해 위원장 체포는 비정규직 노조를 뿌리뽑겠다는 의도라고 볼 수밖에 없다. 현대자동차 경영진의 불법파견은 모르쇠하는 정부가 비정규직 노조의 파업에 강경책으로 일관하는 것은 누가보더라도 공정하지 못하다. 체포 과정의 진상을 스스로 밝히고, 비정규직 탄압을 지금이라도 중단하길 촉구한다.',
    '‘한국과학기술지주회사, 벤처기업과 손잡다’ - 벤처기업과 함께 출연(연)기술 기반 신사업 발굴 및 강소 스타트업 기업 육성 추진 -\n□ 미래창조과학부(장관 최문기) 산하 17개* 출연(연)이 공동으로 설립한 기술사업화 전문회사인 한국과학기술지주회사(대표 조남훈)가 사단법인 벤처기업협회(회장 남민우)와 2014년 4월 22일 11시, 벤처기업협회에서 강소 스타트업(Start-Up) 기업의 육성·발전과 공공 기술 사업화 촉진을 통해 창조경제 성과 창출을 위한 업무협약(MOU)을 체결했다. * 기초(KIST, 생명연, KISTI, 표준연, 원자력연), 산업(생기연, 국보연, 건설연, 철도연, 식품연, 지자연, 기계연, 재료연, 에기연, 전기연, 화학연, ETRI',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 473,130 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 18.25 tokens</li><li>max: 86 tokens</li></ul>	<ul><li>min: 27 tokens</li><li>mean: 304.44 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive
  <code>국회세종의사당 건립을 위한 법안을 누가 새로 제안했어</code>	<code>국민의힘 정진석 의원(공주·부여·청양)이 국회세종의사당 설치를 위한 '국회법' 일부개정법률안을 대표발의했다고 21일 밝혔다. 국회와 세종시 정부청사와의 물리적인 거리로 세종시 공무원의 관외 출장비는 3년간 917억원에 달한다. 출장횟수는 87만회에 달하고 있어 업무 불편과 비효율성 심화는 물론 정책 질 저하도 우려되는 실정이다. 개정안은 △서울시에 국회서울의사당을, 세종시에 국회세종의사당을 두도록 하고 △상임위원회는 국회세종의사당에 두는 것으로 하되, 국회운영위원회와 정보위원회 및 세종시로 이전하지 않은 부(部)를 소관하는 상임위원회는 국회서울의사당에 둘 수 있도록 했다. 행복도시법에 따른 이전 제외 대상 부처는 외교부, 통일부, 법무부, 국방부, 여성가족부 등 5곳이다. 또 예산결산특별위원회와 국회예산정책처는 세종시에 두도록하고 국회사무처, 국회도서관, 국회입법조사처는 국회세종의사당에 별도 기관을 둘 수 있도록 했다. 정진석 의원은 "여야 합의로 세종의사당 설계비 147억원이 확정됐고 지난 2월 국회 운영위원회 공청회에서 나온 의견들을 다듬어 법의 완성도를 높인 개정안인 만큼, 여야 합의를 통해 21대 국회 임기 중에 첫 삽을 뜰 있도록 최선을 다하겠다"고 말했다.</code>
  <code>어떤 국가가 과반수의 표를 확보해야 중의원 의장이 될 수 있게 정해 놨어</code>	<code>3. 일본<br>가. 의장 선출<br>□ 중의원 의장은 중의원 선거 후 최초 집회일에 열리는 회의에서 중의원 의원의 무기명 투표에 의해 직선으로 선출됨(「국회법」제6조, 「중의원규칙」제3조, 제8조)<br>○ 의장 선거는 전체 의원의 3분의 1 이상이 참석해서 사무총장이 의장의 직무대행을 하여 실시함(「국회법」제7조)<br>○ 의장으로 당선되기 위해서는 과반수 득표를 해야 하므로, 1차 투표에서 총 투표수의 과반수를 획득한 득표자가 없으면, 최다득표자 2인에 대하여 결선투표를 실시함<br>○ 결선투표에서 두 후보자의 득표수가 같은 경우 추첨으로 당선인이 결정됨<br>○ 중의원 의장의 임기는 4년이나, 임기 중에 해산에 의해서 모든 중의원 의원이 지위를 잃으면, 의장도 그 지위를 상실함<br>□ 의장 선거절차는 중의원 규칙에서 정하는 것 외에, 제1회 일본 제국의회에서 정한 ‘의장 후보자 선거절차수칙’을 따르고 있음 ○ 의장 선출은 선거 전에 각 회파(교섭단체에 해당) 간의 대화로 미리 후보자가 결정되지만, 공식절차상으로는 각 의원의 본회의에서 선거로 선임함<br>○ 1970년대 중반까지는 집권여당이 국회의장과 부의장을 모두 독점하였으나, 제79회 국회(1976년) 이후 중의원 국회의장은 여당 제1당에서, 국회부의장은 야당 제1당(제2당)에서 선출하는 관행이 정착되었음. 그러나 1993년 연립정권 성립 후에는 중의원에서 자민당이 제1당이면서 여당이 아니었기 때문에 여당 간에 의장직을 둘러싸고 다툼이 있었음</code>
  <code>1분기 코로나 예방접종을 약 2000명에게 시행할 건 누구야</code>	<code>부산 동래구(구청장 김우룡)는 코로나19 예방접종의 차질 없는 추진을 통한 빠른 일상회복을 위해 코로나19 예방접종 계획을 마련하고, 이달 말 1분기 대상자 2000여명을 대상으로 ‘코로나19 예방접종’을 시작한다고 밝혔다. 코로나19 예방접종 추진기간은 인플루엔자 유행시기인 11월 이전까지로, 접종대상은 18세 이상 전 구민이며, 임신부 및 만 18세 미만 소아·청소년, 65세 이상 고령자는 임상시험 결과에 따라 추후 접종 여부 및 시기가 결정된다. 동래구는 △과학적 근거를 기반으로 안전하고 효과적인 접종 추진 △코로나19의 사망예방 및 지역 사회 전파 차단을 위하여 전 구민의 70%인 189천여 명을 목표로 예방접종을 추진할 계획이다 1분기 우선 접종대상자는 △요양병원·요양시설입원·입원자, 종사자 △고위험 의료기관종사자, 코로나 1차 대응요원 △정신요양·재활시설 등 입소자·종사자 등 2000여 명이며, 백신 배송 등 일정을 조율해 26일부터 병원은 자체접종, 시설은 보건소 방문팀·시설별 협약의료기관 또는 계약된 의사가 방문 접종할 계획이다. 단계별 예방접종 기관은 △7월 개소 예정인 예방접종센터(사직실내체육관) △위탁의료기관 △방문접종 △자체접종 △내소접종을 병행하며, 위탁의료기관 정보는 질병관리청 코로나19 백신 및 예방접종 홈페이지에서 확인할 수 있다. 또한 동래구는 지난 4일 코로나19 예방접종 추진단을 운영 중이며, 22일 민·관·군과 병협·의협·간협 및 민간 등으로 구성된 민-관 협력체계인 ‘동래구 코로나19 예방접종 지역협의체’를 발족하여 전 구민의 코로나19 예방접종의 차질 없는 추진을 위해 최선을 다하고 있다. 김우룡 동래구청장은 “코로나19 예방접종은 전 국민 대상의 대규모 사업으로 관의 철저하고 꼼꼼한 계획과 함께 주민과 유관기관의 협조가 반드시 필요하다”며 “안전하고 신속한 예방접종을 추진을 위해 최선을 다하겠다”고 말했다.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 10,000 evaluation samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	<ul><li>min: 8 tokens</li><li>mean: 18.06 tokens</li><li>max: 112 tokens</li></ul>	<ul><li>min: 19 tokens</li><li>mean: 301.38 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  anchor	positive
  <code>릴레이로 이번주 TV와 라디오 방송 출연을 확정한게 누구야?</code>	<code>▲ 사진=롯데엔터테인먼트 제공 영화 완벽한 타인의 주역 유해진, 조진웅, 이서진, 염정아가 릴레이로 이번주 TV와 라디오 방송 출연을 확정했다. 완벽한 타인은 완벽해 보이는 커플 모임에서 한정된 시간 동안 핸드폰으로 오는 전화, 문자, 카톡을 강제로 공개해야 하는 게임 때문에 벌어지는 예측불허 이야기를 담은 작품이다. 완벽한 타인에서 완벽한 연기를 펼친 배우들은 이번 주 릴레이로 TV와 라디오 방송 출연을 확정하며 열일 행보를 펼친다. 먼저 오는 24일 오후 7시 MBC FM영화음악 한예리입니다에는 유해진과 염정아가 함께 출연한다. 간첩, 전우치에 이어 세 번째로 함께 호흡을 맞춘 두 사람은 이번 라디오 출연에서 영화에 대한 이야기를 나누며 걸출한 입담과 절친 케미스트리를 선보일 것으로 보인다. 이어 이번 영화로 처음 만나 절친이 된 유해진, 조진웅, 이서진이 25일 오후 11시 10분 KBS2 해피투게더4에 출연한다. 세끼 인연 유해진과 이서진, 그리고 조진웅의 예능감이 유감없이 발휘될 예정이다. 마지막으로 26일에는 MBC 배철수의 음악캠프에서 이서진을 만날 수 있다. 완벽한 타인에서 가장 파격적인 연기 변신을 선보인 그는 음악캠프 특별 DJ로 활약했던 인연으로 이번 출연이 성사됐다. 이서진은 거침없는 언변으로 영화 완벽한 타인의 현장 비하인드 스토리를 밝힐 예정이다. 한편 완벽한 타인은 오는 31일 개봉을 앞두고 있다.</code>
  <code>벡터맵 빈 분류 기반의 제안기법은 무엇에 비하여서 압출효율이 높다는 것을 표 4에서 알 수 있어?</code>	<code><h1>IV. 실험 결과</h1><p>제안한 빈 분류기반 벡터맵 압축 기법에 대한 성능 평가를 위한 실험을 수행하였다. 실험을 위해 그림 10 과 같이, ( 10 \mathrm{~km} \times 10 \mathrm{~km} ) 의 국부 영역을 갖는 벡터맵 레이어를 생성하였으며, 이 중 폴리곤으로 구성된 '건물' 레이어와 폴리라인으로 구성된 '일반도로’ 레이어에 대해 각각의 실험을 수행하였다. 또한 TM 좌표계에 의해 표현되는 실측치 ( 1 \mathrm{~cm} ) 이내의 오차를 갖도록 식 (1)의 ( c=100 ) 으로 설정하여 정밀 벡터맵 압축에 대해 결과를 도출하였다. 또한 ( 10 \mathrm{~km} \times 10 \mathrm{~km} ) 영역에서 ( 1 \mathrm{~cm} ) 정밀도를 갖는 벡터맵 데이터의 최적의 압축효율을 위해, 실험적으로 dist ( {D B}=10 \mathrm{~m} ) 및 dist ( { }{A B}=0.64 \mathrm{~m} ) 로 결정하였다.</p><p>제안 기법의 객관적 비교를 위해 일반적인 데이터 압축기법으로서 7-zib 알고리즘, 대표적인 벡터 간소화 알고리즘으로서 Douglas-Peucker 알고리즘[16] 및 기존의 공간 에너지집중 기반에서의 압축 알고리즘등과 압축 결과를 비교하였다. 표 4 에 각각의 알고리즘 에 대한 압축 결과를 나타내었다.</p><p>표 4 의 결과로부터 벡터맵의 특성을 고려하지 않은 7-Zip과 비교하였을 때, 각 좌표점들의 오차범위로 ( 0.01 \mathrm{~m} ) 미만을 갖는 벡터맵 빈 분류 기반의 제안 기법이 월등히 높은 압축효율을 가짐을 확인하였다. 한편, 벡터 간소화 기법을 사용하는 Douglas-Peucker 알고리즘과 제안 알고리즘은 압축원리가 상이하므로 RMSE(root mean square error) 등의 방법을 통한 직접적인 비교는 어렵다. 또한 제안 기법과의 비교를 위해 Douglas-Peucker 알고리즘의 정밀도 범위 ( \epsilon=0.01 \mathrm{~m} ) 로 설정하게 되면, 각 좌표점들의 간소화 조건이 대부분 만족하지 않으므로 실제 간소화를 통한 압축은 거의 이루어지지 않는다. 따라서 그림 10의 벡터맵 레이어에서 시각적으로 용인할 수 있을 것으로 간주되는 적정 임계치 ( \epsilon=1 \mathrm{~m} ) 로 설정하여 압축을 수행하였다. 표 4의 실험 결과는 이때의 압축 결과를 나타낸 것이다. 그림 11은 벡터맵을 확대하였을 때, 표 4 의 압축 효율에 대해 제안 알고리즘과 Douglas-Peucker 알고리즘의 시각적 오차를 비교한 것이다.</p><p>표 4와 그림 11로부터 제안 기법이 Duglas-Peucker 알고리즘보다 월등히 적은 시각적 오차를 가짐에도 불구하고 보다 높은 압축효율을 나타냄을 확인할 수 있다. 더욱이, 표 4에서 Duglas-Peucker 알고리즘의 특성상 연속한 좌표점들이 급격히 꺽히는 오브젝트들의 집합인 '건물' 레이어에서 압축효율의 저하가 발생한다. 반면. 제안 기법은 Duglas-Peucker 알고리즘에서와 같은 압축효율의 저하는 발생하지 않음을 확인하였다. 공간영역에서의 에너지 집중(SEC)을 이용한 기존방법과의 비교에서 역시 제안 알고리즘이 보다 우수한 압축 효율을 가짐을 알 수 있었다. 또한 에너지 집중 이후 실질적 데이터 압축을 위한 엔트로피 코딩으로써 zlib 또는 7-zip 알고리즘을 이용하는 기존 기법과는 달리, 제안 기법은 압축 과정의 일부로써 정의된 단순한 허프만 테이블을 참조하므로 계산 복잡도에서 큰 이점을 얻을 수 있다. </p></code>
  <code>대면하지 않고 진료에서 약 배달까지 해주는 처방솔루션은 뭐야</code>	<code>비대면 진료 서비스에 기반한 브랜드 페어(pare)는 올해 초부터 비대면 진료와 처방을 모바일로 쉽고 빠르게 받을 수 있게 하고, 처방받은 약은 집까지 배송해 주는 서비스를 국내 환자와 재외국민들을 위해 시작했다. 페어는 의사의 처방을 통해서만 구매가 가능한 의사의 솔루션을 페어만의 브랜드 감성을 깃들여 환자에게 노출한다. 이는 기존의 처방약이라는 고질적인 부분을 소비자 감성 브랜드로 승화해 환자와 소비자의 벽을 허무는 국내 최초의 전문처방 솔루션 비즈니스 모델이다. 또한, 플랫폼 내 처방이 필요하지 않은 일반 건강기능식품을 통한 사후관리 서비스도 제공한다. 강신욱 대표는 “페어만의 브랜드 감성과 의사들의 전문성이 실린 솔루션을 집까지 배송해 주는 게 특징”이라며 “처방약뿐만 아니라 진료에 따른 맞춤형 건강관리제품을 추천 혹은 패키지로 받아 볼 수 있는 국내 최초 비대면 진료 기반의 커머스형 처방솔루션”이라고 강조했다.</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 1e-05
• num_train_epochs: 10
• warmup_steps: 500
• bf16: True

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 500
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

</details>

Training Logs

<details><summary>Click to expand</summary>

The model card is truncated. Read the rest on Hugging Face.