warisan_retrieval_model

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-mpnet-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2 <!-- at revision 4328cf26390c98c5e3c738b4460a05b95f4911f5 -->
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Apakah maksud pantun berikut?\nBertanam padi di sawah,\nDitimbun dengan hampa berat,\nDicangkul dengan beladang,\nDijual oleh anak Bangkahulu;\n\nKalau menguji nak sama merah,\nKalau mengganti nak sama berat,\nKalau mengukur nak sama panjang,\nItulah hokum pada penghulu.',
    'Pantun:\nBertanam padi di sawah,\nDitimbun dengan hampa berat,\nDicangkul dengan beladang,\nDijual oleh anak Bangkahulu;\n\nKalau menguji nak sama merah,\nKalau mengganti nak sama berat,\nKalau mengukur nak sama panjang,\nItulah hokum pada penghulu.\n\nTopik: SejutaPantun\nSubjek: Pantun Melayu\nSumber: Penerbit Fajar Bakti Sdn.Bhd; Petaling Jaya\nTahun: 1985\nPengarang: Mohd Yusof Md Nor',
    'berkhidmat sebagai guru tetap di Johor. Kerjaya ini berkait rapat dengan hasrat dan minatnya untuk menjadi pengarang. Pada masa yang sama, perasaan benci, kecewa dan marah terhadap kerajaan kolonial British terus membara dalam jiwa Za\'ba. Lantaran itulah, dalam kegiatan awal penulisannya pada Ogos 1916, Za\'ba "melepaskan" bara dendamnya dengan menghunuskan kritikan yang keras, tajam dan lantang terhadap British dan imperialis Barat umumnya. Serangan penanya yang bersifat anti kolonial Barat itu juga dilatari oleh roh keislamannya, di samping hakikat kemunduran serta kemiskinan orang Melayu ketika itu yang turut mendapat pembelaan beliau. Kunci perjuangan beliau, dalam memberikan kepemimpinan pemikirannya terhadap masyarakat Melayu, bertitik tolak di Johor Bahru. Beliau memulakan kerjayanya sebagai guru sekolah di Johor Bahru pada tahun 1916, dan kemudiannya bertukar ke beberapa tempat lain iaitu: 1918: Kolej Melayu Kuala Kangsar 1923: Jabatan Pendidikan, Kuala Lumpur 1924: Kolej Perguruan Sultan Idris, Tanjung Malim 1939: Jabatan Maklumat, Singapura sehingga 1942 1942: Pusat Pengajian Kajian Timur dan Afrika, Universiti London sehingga 1951 1954: Universiti Malaya, Singapura sehingga 1959. Za\'ba ditawarkan bekerja sebagai guru sementara di sekolahnya, dan selepas itu dia memasuki perkhidmatan perguruan di English College, Johor Bharu (Jun 1916-September 1918). Beliau pernah menjadi guru di Maktab Melayu Kuala Kangsar (Oktober 1918-April 1923), dan pada peringkat inilah beliau lulus peperiksaan ikhtisas perguruan (Normal Class, pada tahun 1921); penterjemah di Pejabat Pengarah Sekolah-Sekolah Negeri-Negeri Selat dan Negeri-Negeri Melayu Bersekutu, Kuala Lumpur (Mei 1923-Mac 1924), dan Maktab Perguruan Sultan Idris (MPSI), Tanjung Malim (April 1924-September 1939). Kemudian dan menjadi penterjemah dan juruhebah di Pejabat Penerangan Singapura serta menjadi penyelenggara buku pendidikan Melayu di Jabatan Pelajaran Singapura (Oktober 1939-Januari 1941). Semasa pendudukan Jepun di Tanah Melayu, Za\'ba berkhidmat sebagai ketua pengarang dan penterjemah berita Radio Jepun, serta menyelenggarakan penerbitan buku bagi jabatan Pelajaran dan Agama, Bunkyo-ka (Mac 1942-Julai 1945). Selepas perang dunia kedua tamat, Za\'ba bertugas sebagai penterjemah di Mahkamah Tinggi dalam Pentadbiran Tentera British di Kuala Lumpur (September 1945-Julai 1946); kemudian kembali ke jawatan lamanya sebagai penterjemah kanan bahasa Melayu dan pengarang buku teks di Pejabat pelajaran, Kuala Lumpur (Ogos 1946-Ogos 1947); pensyarah Bahasa Melayu di School of Oriental and African Studies (SOAS), Universiti London (September 1947-hingga bersara pada September 1950). Pada tahun 1953, Za\'ba menjadi pensyarah kanan merangkap Ketua Jabatan Pengajian Melayu yang pertama di Universiti Malaya, Singapura (April 1953-Januari 1959). Semasa di University of London, Za\'ba memperoleh Sarjana Muda Sastera (1953). Za\'ba dan Bahasa Pada tahun 1956, Za\'ba telah mengetuai kongres yang penting bagi bangsa Melayu iaitu Kongres Bahasa dan Persuratan Melayu ketiga, dan pada akhir kongres ini Za\'ba dianugerahi gelaran "Pendeta". Ini dilakukan kerana mengenang jasanya yang tidak terhingga dalam bidang bahasa. Walaupun penglibatannya dalam bidang-bidang lain tidak boleh diperkecil, tetapi sumbangan dan tulisannya dalam bidang bahasa yang paling menonjol. Dalam pendahuluan Pelita Bahasa Melayu Penggal I misalnya, dia mencatatkan kegigihannya menerapkan nahu Arab dan Inggeris kepada bahasa Melayu. Beliau juga meletakkan asas sistem bahasa Melayu baharu baik dalam bidang ejaan, tatabahasa Melayu mahupun retorik. Dengan itu dia menjadi sarjana Melayu yang pertama menghasilkan huraian tatabahasa Melayu yang lengkap dan mendalam. Beliau juga yang menandai babak awal perkembangan ilmu bahasa atau linguistik Melayu baharu sejak tahun 1920-an, kira-kira satu dekad lebih awal daripada tokoh linguistik Amerika, iaitu Leonard Bloomfield yang baru muncul pada awal tahun 1930-an dengan linguistik strukturalnya.” Za‘ba ialah perintis analisis sistem ejaan bahasa Melayu. Menurut Dr. Awang, Profesor Emeritus Dato\' Dr. Asmah Haji Omar menunjukkan analisis ejaan Za‘ba itu berasaskan ilmu fonologi, iaitu kewujudan bunyi mendahului tulisan, huruf ialah lambang bunyi dan ada “hubungan antara fikiran dengan mekanisme bahasa”. Butiran hujah Profesor Emeritus Dato\' Dr. Asmah itu terdapat dalam makalah yang bertajuk “Za‘ba dalam Linguistik: Satu Tinjauan mengenai Aspek Bahasa yang Diutarakannya”. Makalah itu termuat dalam buku Bahasa, Kesusasteraan dan Kebudayaan Melayu (Esei-esei Penghormatan kepada Pendeta Za‘ba) terbitan Kementerian Kebudayaan, Belia dan Sukan, tahun 1976. Dr. Awang juga menyatakan, analisis ejaan itu berasaskan fonetik kerana Za‘ba menggunakan istilah yang sesuai dengan fonetik. Antara istilah itu termasuklah huruf saksi (vokal), huruf benar (konsonan), bunyi kasar dan bunyi halus yang merupakan jenis vokal, bunyi berkait rapat (diftong) dan bunyi berkait renggang (vokal rangkap). Dari segi tatabahasa, Za‘ba meletakkan asas golongan kata dan golongan ayat bahasa Melayu. Dia menggolongkan kata kepada lima golongan yang utama, iaitu nama, perbuatan, sifat, sendi dan seruan. Golongan utama itu dipecahkan kepada subgolongan. Contohnya, di bawah nama ada nama betul dan ganti nama. Di bawah setiap subgolongan itu ada pula pecahan seperti nama, am, nama neka dan nama khas. Perbuatan dipecahkan kepada perbuatan melampau dan perbuatan tidak melampau. Istilah kita kini bagi perbuatan melampau ialah kata kerja transitif dan perbuatan tidak melampau ialah kata kerja tidak transitif. Selain itu, Za‘ba menyatakan ada perbuatan dapat menduduki fungsi nama. Perbuatan itu dinamakan perbuatan nama dan nama perbuatan. Za‘ba membahagikan kata sifat kepada sifat nama dan sifat kata. Istilah kita kini bagi sifat nama ialah adjektif dan sifat kata ialah\n\nAbstrak: Tidak disediakan dalam teks asal.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 67,584 training samples
• Columns: <code>sentence_0</code> and <code>sentence_1</code>
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	<ul><li>min: 10 tokens</li><li>mean: 31.18 tokens</li><li>max: 128 tokens</li></ul>	<ul><li>min: 34 tokens</li><li>mean: 86.5 tokens</li><li>max: 128 tokens</li></ul>

• Samples:

  sentence_0	sentence_1
  <code>Apakah maksud pantun berikut?<br>Terbang helang dari Jawa<br>Puan dibentuk tukang Serati <br>Tempat abang membuang nyawa <br>Tuanlah patut belaku mati</code>	<code>Pantun:<br>Terbang helang dari Jawa<br>Puan dibentuk tukang Serati <br>Tempat abang membuang nyawa <br>Tuanlah patut belaku mati<br><br>Topik: SejutaPantun<br>Subjek: Pantun-pantun Melayu Kuno<br>Sumber: Pantun-pantun Melayu Kuno. Pekanbaru: Yayasan Pusaka Riau<br>Tahun: 2004<br>Pengarang: Hasan Junus</code>
  <code>Apakah maksud pantun berikut?<br>sentan mubeta atengku guser<br>nguk gere bekeber kudeso ni kuju<br>suntuk sabe wan ni tenah<br>nguk gere sawah munentong aku</code>	<code>Pantun:<br>sentan mubeta atengku guser<br>nguk gere bekeber kudeso ni kuju<br>suntuk sabe wan ni tenah<br>nguk gere sawah munentong aku<br><br>Topik: SejutaPantun<br>Subjek: Pantun Dalam Bahasa Gajo<br>Sumber: Beberapa Pantun Ep Virgo. Djakarta: Dikumpulkan L. K. Ara<br>Tahun: 1971<br>Pengarang: Ep Virgo</code>
  <code>Apakah maksud pantun berikut?<br>Lihat ke depan dengan mata <br>Toleh belakang setiap kali<br>Jangan buang waktu dan kata<br>Keduanya tak bisa kembali</code>	<code>Pantun:<br>Lihat ke depan dengan mata <br>Toleh belakang setiap kali<br>Jangan buang waktu dan kata<br>Keduanya tak bisa kembali<br><br>Topik: SejutaPantun<br>Subjek: PANTUN DUA: API UNGGUN DI PERKAMPUNGAN - ASIA PASIFIC CULTURAL VILLAGE, DARWIN NT AUSTRALIA<br>Sumber: KEBIJAKAN DALAM 1001 PANTUN (WISDOM IN 1001 PANTUN), PT. KOMPAS MEDIA NUSANTARA<br>Tahun: 2006 (CETAKAN KEDUA)<br>Pengarang: JOHN GAWA</code>

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

<details><summary>Click to expand</summary>

• overwrite_output_dir: False
• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

</details>

Training Logs

Framework Versions

• Python: 3.9.13
• Sentence Transformers: 3.0.1
• Transformers: 4.39.3
• PyTorch: 2.5.1+cu121
• Accelerate: 0.27.2
• Datasets: 2.18.0
• Tokenizers: 0.15.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->