t5gemma-2-1b-multimodal-embedding-indo-v6

T5Gemma2 1B Embedding Stage 2

This is a sentence-transformers model finetuned from daruokta/t5gemma-2-1b-multimodal-embedding-indo-v6 on the retrieval, sts, nli and classification datasets. It maps sentences & paragraphs to a 1152-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: daruokta/t5gemma-2-1b-multimodal-embedding-indo-v6 <!-- at revision 3f00320ef4033350e0d8c862e2e2f7c3a80ddea4 -->
• Maximum Sequence Length: 4096 tokens
• Output Dimensionality: 1152 dimensions
• Similarity Function: Cosine Similarity
• Supported Modalities: Text, Image
• Training Datasets:
  • retrieval
  • sts
  • nli
  • classification
• Languages: id, en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}, 'image': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'T5Gemma2Encoder'})
  (1): Pooling({'embedding_dimension': 1152, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'Apa perbedaan antara 打关系 dan 走关系?',
]
documents = [
    '"Apa perbedaan antara "" dan "";"" serta "",""?',
    'Alat apa yang digunakan untuk membuat video ini?',
    'Jika teroris memasang bahan peledak palsu pada Anda, membungkam Anda, menempelkan pelatuk ke tangan Anda, dan meninggalkan Anda di tengah kota, bagaimana Anda bisa bertahan hidup?',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1152] [3, 1152]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.3385, 0.0576, 0.1161]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Semantic Similarity

• Dataset: eval-sts
• Evaluated with <code>EmbeddingSimilarityEvaluator</code>

Information Retrieval

• Dataset: eval-retrieval
• Evaluated with <code>InformationRetrievalEvaluator</code>

Binary Classification

• Dataset: eval-nli-binary
• Evaluated with <code>BinaryClassificationEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Datasets

<details><summary>retrieval</summary>

retrieval

• Dataset: retrieval
• Size: 43,389 training samples
• Columns: <code>anchor</code> and <code>positive</code>
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	<ul><li>min: 4 tokens</li><li>mean: 10.51 tokens</li><li>max: 20 tokens</li></ul>	<ul><li>min: 15 tokens</li><li>mean: 131.98 tokens</li><li>max: 307 tokens</li></ul>

• Samples:

  anchor	positive
  <code>dimanakah letah Universitas Indonesia?</code>	<code>Universitas Indonesia<br>Universitas Indonesia disingkat sebagai UI, adalah sebuah perguruan tinggi di Indonesia. Kampus utamanya terletak di bagian Utara dari Depok, Jawa Barat tepat di perbatasan antara Depok dengan wilayah Jakarta Selatan, dan kampus utama lainnya terdapat di daerah Salemba di Jakarta Pusat. Universitas Indonesia adalah kampus modern, komprehensif, terbuka, multibudaya, dan humanis yang mencakup disiplin ilmu yang luas. Telah menghasilkan lebih dari 400.000 alumni. Secara umum dianggap sebagai salah satu dari tiga perguruan tinggi papan atas di Indonesia bersama dengan Universitas Gadjah Mada dan Institut Teknologi Bandung. Cikal-bakal terbentuknya Universitas Indonesia adalah ketika pemerintah kolonial Belanda mendirikan sebuah sekolah yang bertujuan untuk menghasilkan asisten dokter tambahan yang memegang sertifikat untuk melakukan perawatan-perawatan tingkat dasar serta mendapatkan gelar Dokter Jawa ("Javanese doctor"). Secara resmi Universitas Indonesia memulai keg...</code>
  <code>perintah terbaru pemerintah, upah harian karyawan, gaji di Kerala</code>	<code>Komisi Gaji kemungkinan besar akan merekomendasikan 16.000 sebagai Upah Minimum dan 1 juta sebagai Maksimum untuk Pegawai Pemerintah di Kerala. oleh admin Tambahkan Komentar.</code>
  <code>kapankah Indonesia merdeka?</code>	<code>Pengakuan tanggal kemerdekaan Indonesia oleh Belanda atau Pengakuan Kedaulatan Indonesia adalah peristiwa di mana Belanda akhirnya mengakui bahwa kemerdekaan Indonesia adalah tanggal 17 Agustus 1945 sesuai dengan proklamasi kemerdekaan Indonesia, bukan tanggal 27 Desember 1949 saat soevereiniteitsoverdracht (penyerahan kedaulatan) ditandatangani di Istana Dam, Amsterdam.</code>

• Loss: <code>main.WeightedLoss</code>

</details> <details><summary>sts</summary>

sts

• Dataset: sts
• Size: 19,464 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 100 samples:

  	sentence1	sentence2	score
  type	string	string	float
  modality	text	text
  details	<ul><li>min: 6 tokens</li><li>mean: 16.54 tokens</li><li>max: 44 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 16.4 tokens</li><li>max: 62 tokens</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.49</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>Apakah benar bahwa jika Anda tidak menggunakannya, Anda akan kehilangan itu?</code>	<code>Apakah benar bahwa jika Anda tidak menggunakannya, Anda akan kehilangan itu?</code>	<code>1.0</code>
  <code>bertindak, membentuk, atau berkembang sesuai dengan rencana atau ideal</code>	<code>membentuk atau memengaruhi; memberikan arahan.</code>	<code>0.45</code>
  <code>"Saya ingin mengetahui detail tentang Delta Charting Group, sebuah perusahaan di Tucson, Arizona, termasuk ulasan perdagangan mereka. Apakah ada yang bisa menjelaskan tentang perusahaan ini kepada saya?"</code>	<code>Perusahaan penyedia layanan taksi dari Pune ke Mahabaleshwar mana yang terbaik di Pune?</code>	<code>0.0</code>

• Loss: <code>main.WeightedLoss</code>

</details> <details><summary>nli</summary>

nli

• Dataset: nli
• Size: 22,022 training samples
• Columns: <code>premise</code>, <code>hypothesis</code>, and <code>label</code>
• Approximate statistics based on the first 100 samples:

  	premise	hypothesis	label
  type	string	string	int
  modality	text	text
  details	<ul><li>min: 5 tokens</li><li>mean: 28.0 tokens</li><li>max: 123 tokens</li></ul>	<ul><li>min: 5 tokens</li><li>mean: 13.48 tokens</li><li>max: 27 tokens</li></ul>	<ul><li>0: ~40.38%</li><li>1: ~31.73%</li><li>2: ~27.88%</li></ul>

• Samples:

  premise	hypothesis	label
  <code>Para pejuang dari gerakan Perlawanan bawah tanah itu gagah berani, tetapi mereka hanyalah minoritas kecil, beberapa di antaranya adalah patriot konservatif seperti de Gaulle, sebagian besar adalah sosialis dan komunis, serta sejumlah kecil pengungsi dari Eropa Timur.</code>	<code>Hanya sejumlah kecil orang yang berpartisipasi dalam gerakan perlawanan.</code>	<code>0</code>
  <code>Karena prinsip "wanita dan anak-anak harus dilindungi terlebih dahulu."</code>	<code>Karena aturan lama "wanita dan anak-anak harus diprioritaskan"</code>	<code>0</code>
  <code>Pedang melengkung tergantung di pinggang mereka, dan busur terletak di punggung mereka.</code>	<code>Mereka membawa busur di punggung mereka.</code>	<code>0</code>

• Loss: <code>main.WeightedLoss</code>

</details> <details><summary>classification</summary>

classification

• Dataset: classification
• Size: 22,000 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
• Approximate statistics based on the first 100 samples:

  	sentence1	sentence2	label
  type	string	string	int
  modality	text	text
  details	<ul><li>min: 4 tokens</li><li>mean: 39.38 tokens</li><li>max: 92 tokens</li></ul>	<ul><li>min: 3 tokens</li><li>mean: 38.79 tokens</li><li>max: 91 tokens</li></ul>	<ul><li>0: ~37.50%</li><li>1: ~62.50%</li></ul>

• Samples:

  sentence1	sentence2	label
  <code>restoran ini menawarkan banyak sekali menu makanan dan minuman . dari makanan sunda , orang cina makanan , hingga makanan barat . harga nya pun tidak terlalu mahal . saya menyantap nasi liwet jambal roti , rasanya gurih dan enak .</code>	<code>tempat steak yang legendaris dan terkenal . no wonder , karena rasa steak nya enak , dengan porsi yang cukup besar . harga nya juga sepadan dengan kualitas nya . steak nya cukup empuk dan kentang nya saya suka</code>	<code>1</code>
  <code>[USERNAME] [USERNAME] [USERNAME] Denger-denger dari Pusat Hoax Nasional-nya [USERNAME] , ternyata FH gak muat dimasukin ke karung beras, biarpun karung jumbo ... Karena [USERNAME] jauh lebih besar dari partainya, [USERNAME] ...</code>	<code>Yang menyedihkan lagi ada yang menganggap Via Vallen itu nggak merasa di lecehkan amat, malah mau naik pamor demi mencapai Keviralan dan itu diungkapkan oleh seorang W.A.N.I.T.A Addeh, udah jadi korban, sesama Wanita pula. Padahal normalnya harus saling dukung, saling empati [URL]</code>	<code>1</code>
  <code>berada di sudut perempatan jalan naripan , bakmi naripan ini sangat terkenal dan selalu ramai oleh pengunjung . terlebih saat akhir pekan atau musim liburan , restoran ini tidak pernah sepi . menu pilihan paling favorit tentu saja bakmi yamin dan bakmi biasa . rasa kaldu nya pada kuah nya sungguh kental dan nikmat serta hangat .</code>	<code>kasihan , padahal kalau tidak ada polling denny siregar cebong girang sekali , sayang , dipupus oleh kalah telak nya jokowi di polling denny .</code>	<code>0</code>

• Loss: <code>main.WeightedLoss</code>

</details>

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 5
• learning_rate: 2e-05
• bf16: True
• gradient_checkpointing: True

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 32
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

The model card is truncated. Read the rest on Hugging Face.