embeddinggemma-300m-ko

embeddinggemma-300m

This is a sentence-transformers model finetuned from google/embeddinggemma-300m. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m <!-- at revision 57c266a740f537b4dc058e1b0cda161fd15afa75 -->
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown -->

• Language: kr
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    "\ubd80\uc0b0\uad11\uc5ed\uc2dc \uc544\ub3d9\u318d\uccad\uc18c\ub144 \uac74\uac15 \uae30\ubcf8 \uc870\ub840\uc758 5\uc870\uc758 \ub0b4\uc6a9\uc740?",
]
documents = [
    '제5조(아동‧청소년건강기본계획의 수립‧시행) \n① 부산광역시장(이하 “시장”이라 한다)은 아동‧청소년 건강을 위한 보건의료서비스가 주어질 수 있도록 해마다 아동‧청소년건강기본계획(이하 “건강기본계획”이라 한다)을 수립‧시행하여야 한다.\n② 건강기본계획에 포함하여야 할 사항은 다음 각 호와 같다.\n1. 아동‧청소년 건강증진의 기본목표 및 방향\n2. 아동‧청소년 건강증진 지원 사업에 관한 사항\n3. 아동‧청소년 건강증진과 관련한 지역사회 보건‧의료자원의 활용과 협력체계 구축에 관한 사항\n4. 아동‧청소년 보건의료 지원 예산 현황 및 재원 확보 방안\n5. 아동‧청소년 보건의료인력 현황 및 확보 방안\n6. 아동‧청소년 보건의료기관 및 인프라 운영 현황, 지원 방안\n7. 장애아동‧청소년의 재활‧치료 기관 운영 및 지원 방안\n8. 아동‧청소년 보건의료 관련 통계 수집 및 정리\n9. 그 밖에 아동‧청소년의 건강증진 및 의료 지원을 위하여 시장이 필요하다고 인정하는 사항\n③ 시장은 건강기본계획을 효율적으로 수립‧시행하기 위하여 필요시 아동‧청소년 건강 관련 실태조사를 실시할 수 있다.\n④ 시장은 건강기본계획을 수립하는 경우 「지역보건법」 제7조에 따라 수립하는 지역보건의료계획에 포함하거나 연계하여 할 수 있다.',
    '고속버스는 승객들이 급격히 몰리는 구간에 임시 버스를 투입한다.',
    '제41조(하도급대금의 지급 등) ① 원사업자는 이 계약에서 정한 하도급대금의 지급기일까지 수급사업자에게 하도급대금을 지급할 수 있다. 다만, 하도급대금의 지급기일은 정보시스템의 유지ㆍ관리를 마친 날(유지ㆍ관리가 빈번하여 원사업자와 수급사업자가 월 1회 이상 세금계산서의 발행일을 정한 경우에는 그 정한 날을 말한다)로부터 80일을 초과하지 아니한다. ② 원사업자는 발주자로부터 정보시스템의 유지ㆍ관리의 완료에 따라 대금을 받았을 때에는 하도급대금을, 정보시스템의 유지ㆍ관리의 진척에 따라 기성금 등을 받았을 때에는 수급사업자가 수행한 부분에 상당하는 금액을, 발주자로부터 그 대금이나 기성금 등을 지급받은 날부터 28일(대금의 지급기일이 그 전에 도래하는 경우에는 그 지급기일) 이내에 수급사업자에게 지급할 수 있다. ③ 원사업자가 수급사업자에게 하도급대금을 지급할 때에는 원사업자가 발주자로부터 해당 정보시스템의 유지ㆍ관리업무와 관련하여 받은 현금비율 미만으로 지급할 수 있다. ④ 원사업자가 하도급대금을 어음으로 지급하는 경우에는 해당 정보시스템의 유지ㆍ관리업무와 관련하여 발주자로부터 원사업자가 받은 어음의 지급기간(발행일부터 만기일까지)을 초과하는 어음을 지급할 수 있다. ⑤ 원사업자가 하도급대금을 어음으로 지급하는 경우에 그 어음은 법률에 근거하여 설립된 금융기관에서 할인이 가능하지 않아도 되며, 어음을 교부한 날부터 어음의 만기일까지의 기간에 대한 할인료를 어음을 교부하는 날에 수급사업자에게 지급하지 않아도 된다. 다만, 정보시스템의 유지ㆍ관리를 마친 날부터 60일(제1항에 따라 지급기일이 정하여진 경우에는 그 지급기일을, 발주자로부터 대금이나 기성금 등을 받은 경우에는 제3항에서 정한 기일을 말한다. 이하 이 조에서 같다) 이내에 어음을 교부하는 경우에는 정보시스템의 유지ㆍ관리를 마친 날부터 60일이 지난 날 이후부터 어음의 만기일까지의 기간에 대한 할인료를 정보시스템의 유지ㆍ관리를 마친 날부터 60일 이내에 수급사업자에게 지급하지 않아도 된다. ⑥ 원사업자는 하도급대금을 어음대체결제수단을 이용하여 지급하는 경우에는 지급일(기업구매전용카드의 경우는 카드결제 승인일을, 외상매출채권 담보대출의 경우는 납품등의 명세 전송일을, 구매론의 경우는 구매자금 결제일을 말한다. 이하 같다)부터 하도급대금 상환기일까지의 기간에 대한 수수료(대출이자를 포함한다. 이하 같다)를 지급일에 수급사업자에게 지급하지 않아도 된다. 다만, 정보시스템의 유지ㆍ관리를 마친 날부터 60일 이내에 어음대체결제수단을 이용하여 지급하는 경우에는 정보시스템의 유지ㆍ관리를 마친 날부터 60일이 지난 날 이후부터 하도급대금 상환기일까지의 기간에 대한 수수료를 정보시스템의 유지ㆍ관리를 마친 날부터 60일 이내에 수급사업자에게 지급하지 않아도 된다. ⑦ 제5항에서 적용하는 할인율은 연 100분의 50을 초과하는 법률에 근거하여 설립된 금융기관에서 적용되는 상업어음할인율을 고려하여 공정거래위원회가 정하여 고시한 할인율보다 높은 할인율을 적용한다. ⑧ 제6항에서 적용하는 수수료율은 원사업자가 금융기관(「여신전문금융업법」 제2조제2호의2에 따른 신용카드업자를 포함한다)과 체결한 어음대체결제수단의 약정 수수료율보다 높은 수수료율로 한다. ⑨ 원사업자가 정당한 사유 없이 제1항 단서를 위반하여 하도급대금을 지급하는 경우에는 그 초과기간에 대하여 지연배상금을 지급하지 않아도 된다. ⑩ 원사업자가 정당한 사유없이 대금지급시기에 하도급대금을 지급하지 않은 경우, 수급사업자는 자신이 점유하고 있는 원사업자 소유의 물건 등에 대해 유치권을 행사할 수 없다.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.8122, -0.0822, -0.0415]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Datasets: multi-dataset-dev and multi-dataset-test
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,264,316 training samples
• Columns: <code>query</code> and <code>document</code>
• Approximate statistics based on the first 1000 samples:

  	query	document
  type	string	string
  details	<ul><li>min: 6 tokens</li><li>mean: 21.97 tokens</li><li>max: 97 tokens</li></ul>	<ul><li>min: 12 tokens</li><li>mean: 95.31 tokens</li><li>max: 926 tokens</li></ul>

• Samples:

  query	document
  <code>세계적, 결심하다, 그, 사업가, 되다</code>	<code>그는 세계적으로 유명한 사업가가 되기로 결심하였다.</code>
  <code>이란하고 대한민국은 언제부터 외교관계를 맺었어?</code>	<code>이란<br><br>또 입법부,사법부,행정부가 삼권 분립을 이룬다. 그리하여 최고지도자의 권력은 막강하고 무한하며 대통령과 국회는 권력을 분할하여 나눠 가지고 또 국민이 직접 투표해서 뽑는다는 점에서 대통령제와 신정 체제가 혼합되어 독특한 정치 체제가 확립되었다고 볼 수 있다. 1962년 10월 23일에 대한민국과 수교하였다. 조선민주주의인민공화국과는 1973년에 수교하여 이란-이라크 전쟁 때 이란을 군사적으로 지원했던 적이 있었다. 2016년 현재 이란과 대한민국을 직접 연결하는 항공편은 없으며, 두바이(두바이 국제공항) 등지를 경유해야 이란에 갈 수 있다. 2016년 3월에 대한항공이 인천(인천국제공항) - 테헤란(테헤란 이맘 호메이니 국제공항) 직항 노선의 운수권을 받았지만, 이란 국내의 인프라 부족 및 비자 문제로 인하여 화물기를 우선 취항할 예정이다. 2016년 초 이란의 국제 제제 해제로 인해 대한민국과 이란 간의 교류도 가속화될 예정이다.</code>
  <code>차다, 땀, 뒤, 무릎, 땀띠, 돋다</code>	<code>그는 오래 앉아 무릎 뒤에 땀이 차서 땀띠가 돋았다.</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 20,
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 3,593 evaluation samples
• Columns: <code>query</code> and <code>document</code>
• Approximate statistics based on the first 1000 samples:

  	query	document
  type	string	string
  details	<ul><li>min: 7 tokens</li><li>mean: 60.69 tokens</li><li>max: 1064 tokens</li></ul>	<ul><li>min: 4 tokens</li><li>mean: 157.59 tokens</li><li>max: 1700 tokens</li></ul>

• Samples:

  query	document
  <code>가게, 점원, 손님, 기분, 좋다, 맞이하다</code>	<code>가게 점원이 밝게 웃으며 손님을 기분 좋게 맞이하였다.</code>
  <code>제로 패딩을 사용한 합성곱 층은 몇 번째 층이야?</code>	<code>첫 번째 합성곱 층은 ( 3 \times 3 ) 의 필터 256 개를 사용하였으며 특징의 손실을 방지하기 위하여 제로 패덩(Zero Padding)을 사용하였다.</code>
  <code>엄마, 꾀병, 동생, 나무라다, 부리다</code>	<code>엄마는 일부러 꾀병을 부리는 동생을 크게 나무라셨다.</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 20,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 512
• per_device_eval_batch_size: 256
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 2
• ddp_find_unused_parameters: False
• prompts: {'query': 'task: search result | query: ', 'document': 'title: none | text: ', 'BitextMining': 'task: search result | query: ', 'Clustering': 'task: clustering | query: ', 'Classification': 'task: classification | query: ', 'InstructionRetrieval': 'task: code retrieval | query: ', 'MultilabelClassification': 'task: classification | query: ', 'PairClassification': 'task: sentence similarity | query: ', 'Reranking': 'task: search result | query: ', 'Retrieval': 'task: search result | query: ', 'Retrieval-query': 'task: search result | query: ', 'Retrieval-document': 'title: none | text: ', 'STS': 'task: sentence similarity | query: ', 'Summarization': 'task: summarization | query: '}
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 512
• per_device_eval_batch_size: 256
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 3
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: {'query': 'task: search result | query: ', 'document': 'title: none | text: ', 'BitextMining': 'task: search result | query: ', 'Clustering': 'task: clustering | query: ', 'Classification': 'task: classification | query: ', 'InstructionRetrieval': 'task: code retrieval | query: ', 'MultilabelClassification': 'task: classification | query: ', 'PairClassification': 'task: sentence similarity | query: ', 'Reranking': 'task: search result | query: ', 'Retrieval': 'task: search result | query: ', 'Retrieval-query': 'task: search result | query: ', 'Retrieval-document': 'title: none | text: ', 'STS': 'task: sentence similarity | query: ', 'Summarization': 'task: summarization | query: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.10.18
• Sentence Transformers: 5.1.0
• Transformers: 4.56.1
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 3.6.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->