multilingual-e5-TripLegalCL-300k

multilingual-e5-large trained on TripLegal-CL Legal Spanish.

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the trip_legal-cl dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • trip_legal-cl
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/multilingual-e5-large-es-legal-300k-v3")
# Run inference
queries = [
    "\u00bfBajo qu\u00e9 fundamentos y normativas la Sala de Admisi\u00f3n de la Corte Constitucional admiti\u00f3 a tr\u00e1mite la acci\u00f3n de inconstitucionalidad N.\u00ba 59-22-IN contra el art\u00edculo 54 de la Ley Org\u00e1nica de Desarrollo Econ\u00f3mico y Sostenibilidad Fiscal tras la pandemia COVID-19?",
]
documents = [
    'La Sala de Admisión de la Corte Constitucional, en su auto de 15 de septiembre de 2022, resolvió admitir a trámite la causa N.º 59-22-IN, al considerar que la demanda de inconstitucionalidad interpuesta por ZAIMELLA DEL ECUADOR SOCIEDAD ANÓNIMA cumplía con los requisitos legales para su procedencia. Se verificó que la demanda fue interpuesta de manera oportuna, conforme lo habilita el artículo 78.1 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC), que permite la presentación de estas acciones en cualquier momento por razones de contenido. Además, la Sala determinó que los argumentos expuestos por el accionante, relativos a la vulneración de los principios de igualdad, no discriminación, equidad tributaria, incentivos a la producción nacional y comercio justo, eran claros, determinados, específicos y pertinentes en relación con las normas constitucionales que se consideraban infringidas, tal como lo exigen los artículos 77 y 78 de la LOGJCC.',
    'La Tercera Sala de lo Civil y Mercantil de la Corte Suprema de Justicia rechazó el recurso de casación en el juicio ejecutivo N° 27-2006, interpuesto por Amparo Mercedes Romero Murrieta contra Esther Marlene Beltrán Baquerizo, basándose en el artículo 2 de la Codificación de la Ley de Casación. Este artículo establece que el recurso de casación procede contra sentencias y autos que pongan fin a procesos de conocimiento, y no contra aquellos dictados en juicios ejecutivos. La Sala citó doctrina de autores como Caravantes y Francisco Beceña para diferenciar los procesos de conocimiento de los ejecutivos, señalando que estos últimos no buscan declarar derechos dudosos, sino ejecutar los ya reconocidos por títulos con fuerza suficiente. Se recordó que la legislación ecuatoriana, tras una reforma inspirada en un veto presidencial, incluyó explícitamente la frase "de conocimiento" en el artículo 2, limitando la casación a dichos procesos. Además, se mencionó que en los juicios ejecutivos la cosa juzgada no es definitiva, ya que el deudor puede iniciar vía ordinaria, lo que refuerza la naturaleza no casable de estas resoluciones. Por lo tanto, el recurso extraordinario de casación no era aplicable a un juicio ejecutivo.',
    'El derecho a recurrir un fallo judicial se fundamenta en garantías procesales básicas, como la establecida en el artículo 8 de la Convención Interamericana sobre Derechos Humanos, que consagra el derecho de toda persona inculpada de un delito a que se presuma su inocencia y, durante el proceso, a gozar de garantías mínimas, incluyendo el "derecho de recurrir del fallo ante juez o tribunal superior". De manera concordante, la Constitución de la República del Ecuador, en su artículo 169, establece que el sistema procesal es un medio para la realización de la justicia, promoviendo principios como la eficacia y las garantías del debido proceso. El artículo 76, numeral 7, literal m) de la Constitución ecuatoriana refuerza esta garantía como parte del derecho a la defensa, coincidiendo con la jurisprudencia de la Corte Interamericana de Derechos Humanos, que señala que impugnar un fallo busca proteger el derecho de defensa al permitir la revisión de decisiones que puedan contener errores perjudiciales. Sin embargo, este derecho no es ilimitado; el artículo 652 del Código Orgánico Integral Penal (COIP) establece que la impugnación se regirá por las reglas específicas del Código, disponiendo que las sentencias, resoluciones o autos definitivos solo serán impugnables en los casos y formas expresamente determinados, limitando así el ejercicio de este derecho a los parámetros legales fijados.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7146, -0.0363,  0.1301]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Information Retrieval

• Datasets: legal-spanish-e5-eval-50kq-80kd and legal-spanish-eval-30kq-50kd
• Evaluated with <code>InformationRetrievalEvaluator</code>

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

trip_legal-cl

• Dataset: trip_legal-cl at fa72982
• Size: 300,000 training samples
• Columns: <code>query</code> and <code>pos</code>
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	<ul><li>min: 26 tokens</li><li>mean: 52.62 tokens</li><li>max: 107 tokens</li></ul>	<ul><li>min: 63 tokens</li><li>mean: 234.57 tokens</li><li>max: 458 tokens</li></ul>

• Samples:

  query	pos
  <code>¿Por qué la Primera Sala de la Suprema Corte de Justicia de la Nación declaró infundado el recurso de reclamación 456/2019, confirmando el desechamiento del recurso de revisión?</code>	<code>La Primera Sala de la Suprema Corte de Justicia de la Nación declaró infundado el recurso de reclamación 456/2019, confirmando el desechamiento del recurso de revisión, al determinar que los agravios presentados por Manuel Contreras Ramos no combatían las razones del acuerdo de presidencia recurrido. El acuerdo de desechamiento se basó en la inexistencia de una cuestión propiamente constitucional, mientras que los agravios del recurrente se enfocaron en demostrar la importancia y trascendencia del asunto, sin desvirtuar la falta de un tema de constitucionalidad. La Sala aplicó la tesis 1a. XXXVI/2018 (10a.) para señalar que los agravios que no desvirtúan la inexistencia de una cuestión constitucional son inoperantes, y que la falta de un tema de constitucionalidad es suficiente para confirmar el desechamiento.</code>
  <code>¿Es constitucionalmente válido que un tribunal arbitral, en el marco de un conflicto económico laboral en el sector estatal, ejerza el control difuso de normas, y cómo lo abordó la Corte Suprema en la apelación Nº 33979-2023?</code>	<code>La Corte Suprema, en su decisión sobre la apelación Nº 33979-2023, afirmó la validez constitucional del ejercicio del control difuso por parte de los tribunales arbitrales. Citando el artículo 139 de la Constitución Política del Perú, que reconoce la jurisdicción arbitral como excepción a la exclusividad de la justicia estatal, la Corte señaló que los órganos arbitrales deben adherirse a las normas legales y a los derechos fundamentales. Hizo referencia a la jurisprudencia del Tribunal Constitucional, específicamente los Expedientes Nº 6167-2005-PHC/TC y Nº 00142-2011-PA/TC, que establecen que los tribunales arbitrales, ante una incompatibilidad entre una norma constitucional y una legal aplicable al caso, deben preferir la norma constitucional. La Corte concluyó que el tribunal arbitral en este caso ejerció el control difuso conforme a sus facultades constitucionales y a la ley, desestimando así el agravio del apelante.</code>
  <code>¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió la acción extraordinaria de protección N.° 3028-22-EP presentada por SCTGLOBAL Soluciones Contables y Tributarias Cía. Ltda. contra las decisiones de la Unidad Judicial Civil de Quito?</code>	<code>La Corte Constitucional inadmitió la acción extraordinaria de protección N.° 3028-22-EP debido a que la compañía accionante no cumplió con los requisitos de admisibilidad establecidos en el artículo 62 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC). Específicamente, en relación con los cargos sobre la vulneración del derecho a recurrir y la libertad de contratación, la Corte determinó que la accionante solo demostró su inconformidad con la decisión y el trámite del pago de honorarios, sin presentar un argumento jurídico completo que identificara la justificación de la supuesta vulneración. Respecto al cargo de falta de motivación, la Corte consideró que no existía un argumento mínimamente completo que permitiera identificar la supuesta falta de motivación, sino una mixtura de vicios motivacionales. Por lo tanto, la demanda incumplió el número 1 del artículo 62 de la LOGJCC, al no existir un argumento claro sobre el derecho violado y su relación inmed...</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 16,
      "gather_across_devices": false
  }
  

Evaluation Dataset

trip_legal-cl

• Dataset: trip_legal-cl at fa72982
• Size: 50,000 evaluation samples
• Columns: <code>query</code> and <code>pos</code>
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	<ul><li>min: 29 tokens</li><li>mean: 52.99 tokens</li><li>max: 105 tokens</li></ul>	<ul><li>min: 92 tokens</li><li>mean: 239.62 tokens</li><li>max: 512 tokens</li></ul>

• Samples:

  query	pos
  <code>¿Cuáles fueron las razones específicas por las que la Sala Especializada de lo Penal de la Corte Nacional de Justicia declaró inadmisible el recurso de casación interpuesto por César Alfonso Chuquitarco Allauca en el caso No. 05282-2016-00134?</code>	<code>La Sala Especializada de lo Penal, Penal Militar, Penal Policial y Tránsito de la Corte Nacional de Justicia declaró inadmisible el recurso de casación interpuesto por César Alfonso Chuquitarco Allauca en el caso No. 05282-2016-00134 debido a que el escrito de interposición no cumplió con los requisitos formales y técnicos exigidos para este tipo de recurso extraordinario. Específicamente, el recurrente no identificó la causal de casación bajo la cual fundamentaba su impugnación, ni presentó un razonamiento jurídico que demostrara la infracción de la ley. Además, se evidenció que el recurrente pretendía una nueva revisión de hechos y una revaloración de la prueba, lo cual está expresamente prohibido en la casación según el artículo 656, inciso segundo, del Código Orgánico Integral Penal (COIP). La Sala determinó que los argumentos no fueron expuestos de manera técnica, autónoma, taxativa y suficiente, ni se indicó cómo se transgredió la norma legal ni la influencia del error en la deci...</code>
  <code>¿Qué acción legal interpuso Nelson Maza Obando tras el auto de sobreseimiento a favor de Fausto Javier Albán Gallo y cuál fue la decisión de la Sala Penal de la Corte Provincial de Justicia de Pichincha al respecto?</code>	<code>Tras el auto de sobreseimiento dictado el 2 de mayo de 2019 a favor de Fausto Javier Albán Gallo, Nelson Maza Obando, en calidad de procurador judicial de Franco Agustín Ordóñez Godoy, interpuso un recurso de apelación contra dicho auto. La Sala Penal de la Corte Provincial de Justicia de Pichincha, mediante resolución del 3 de julio de 2019, aceptó el recurso de apelación y dictó un auto de llamamiento a juicio en contra de Fausto Javier Albán Gallo por el delito de hurto.</code>
  <code>¿Qué argumentos utilizó el accionante para sostener que la disposición general tercera de la Ley para el Fomento Productivo afectaba el derecho a la seguridad jurídica y qué efecto solicitó para la declaratoria de inconstitucionalidad?</code>	<code>El accionante, Rubén Alfonso Cuesta Domínguez, argumentó que la disposición general tercera de la Ley para el Fomento Productivo vulneraba el derecho a la seguridad jurídica al desconocer las características de previsibilidad y estabilidad del ordenamiento jurídico. Sostuvo que los trabajadores carecían de certeza sobre qué normativa se aplicaría para el cálculo de sus utilidades, y que existía una modificación expresa de las reglas para ejercicios fiscales anteriores a la expedición de la norma. Según su criterio, esto afectaba de manera grave e irreparable situaciones jurídicas consolidadas de trabajadores que reclamaban utilidades de años previos a 2018. Por esta razón, el accionante consideró "imperativo que la declaratoria de inconstitucionalidad" tuviera "efecto retroactivo", buscando así restablecer las condiciones jurídicas previas a la vigencia de la norma impugnada y asegurar el pago de las utilidades adeudadas.</code>

• Loss: <code>CachedMultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 16,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.03
• warmup_steps: 0.03
• fp16: True
• prompts: {'query': 'query: ', 'pos': 'passage: '}
• batch_sampler: no_duplicates

All Hyperparameters

<details><summary>Click to expand</summary>

• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: 0.03
• warmup_steps: 0.03
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: {'query': 'query: ', 'pos': 'passage: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary> </details>

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.2
• Transformers: 5.1.0
• PyTorch: 2.9.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.5.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->