Qwen3-Embedding-0.6B

SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B <!-- at revision 97b0c614be4d77ee51c0cef4e5f07c00f9eb65b3 -->
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("UFGCEMIGONA/Qwen3-Embedding-0.6B")
# Run inference
queries = [
    'Se a distribuidora identificar que a conexão de uma micro ou minigeração distribuída implica inversão do fluxo de potência no posto de transformação ou no disjuntor do alimentador, quais alternativas ela pode propor no orçamento de conexão?',
]
documents = [
    'ou SIGFI deve ser apurado por  meio  de  procedimentos  auditáveis  e  que  contemplem  desde  o  processo  de  coleta  de  dados  das',
    '| Subestação | Tensão | Reforço | Prazo de execução |\n| :--- | :--- | :--- | :--- |\n| Angelim | 230 kV | Substituição de 4 Seccionadoras do vão 04M8 – Messias C2 (34M8\\_1, 34M8\\_2, 34M8\\_4, 34M8\\_5).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 5 Seccionadoras do vão 04M9 – Messias C3 (34M9\\_1, 34M9\\_2, 34M9\\_3, 34M9\\_4, 34M9\\_5).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 2 Transformadores de Corrente do vão 04M8 – Messias C2 (04M8).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 2 Bobinas de Bloqueio do vão 04M9 – Messias C3 (04M9).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 5 Seccionadoras do vão 04N4 – Garanhuns II C2 (34N4\\_1, 34N4\\_2, 34N4\\_3, 34N4\\_4, 34N4\\_5).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 1 Bobina de Bloqueio do vão 04N4 – Garanhuns II C2 (04N4).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 1 Disjuntor do vão 04N4 – Garanhuns II C2 (D1 34N4).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Camacari II | 230 kV | Substituição de 1 Disjuntor do vão Governador Mangabaia C2 (14C6).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Milagres | 230 kV | Substituição de 1 Disjuntor do vão 04E4 – RE04E4 (D1 14E4).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |',
    '> **Análise Visual (VLLM):** Aqui está uma descrição detalhada do gráfico para fins de acessibilidade e substituição em documentos:\n\n**Descrição da Imagem:**\n\nGráfico de colunas agrupadas que apresenta a comparação de valores financeiros (expressos em milhões) para sete diferentes entidades ou projetos: AMAZONAS, BOA VISTA ENERGIA, CEAL, CEPISA, CERON, ELETROACRE e CEA.\n\nO eixo vertical (Y) indica os valores em "Milhões", com uma escala que varia de 0 a 1.200. Cada entidade possui três colunas coloridas que representam categorias distintas, conforme a legenda:\n\n1.  **PMSO Regulatório (coluna azul):** Representa os valores base regulatórios.\n2.  **PMSO Anual Real a preços do IRT 2016 (coluna vermelha):** Representa os valores reais anuais.\n3.  **PMSO Anual Meta a preços do IRT 2016 (coluna verde):** Representa os valores de meta anuais.\n4.  **PMSO Flexibilizado 2016 (coluna roxa):** Representa os valores flexibilizados.\n\n**Dados detalhados por entidade (valores em milhões):**\n\n*   **AMAZONAS:** Apresenta os maiores valores do gráfico, com 349 (Regulatório), 953 (Real), 906 (Meta) e 627 (Flexibilizado).\n*   **BOA VISTA ENERGIA:** Valores de 38 (Regulatório), 197 (Real), 187 (Meta) e 112 (Flexibilizado).\n*   **CEAL:** Valores de 272 (Regulatório), 423 (Real), 402 (Meta) e 337 (Flexibilizado).\n*   **CEPISA:** Valores de 361 (Regulatório), 505 (Real), 479 (Meta) e 420 (Flexibilizado).\n*   **CERON:** Valores de 234 (Regulatório), 343 (Real), 326 (Meta) e 280 (Flexibilizado).\n*   **ELETROACRE:** Valores de 93 (Regulatório), 172 (Real), 164 (Meta) e 129 (Flexibilizado).\n*   **CEA:** Valores de 68 (Regulatório), 191 (Real), 182 (Meta) e 125 (Flexibilizado).\n\n**Análise Visual:** Em quase todas as entidades, observa-se que o "PMSO Anual Real" (vermelho) é o valor mais alto, seguido de perto pelo "PMSO Anual Meta" (verde), enquanto o "PMSO Regulatório" (azul) tende a ser o valor mais baixo.\n\n\nFigura 3 Custos operacionais reais e regulatórios',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.1540, 0.2377, 0.1713]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* -->

Evaluation

Metrics

Reranking

• Dataset: qwen-reranking-eval
• Evaluated with <code>RerankingEvaluator</code> with these parameters:

  {
      "at_k": 10
  }
  

<!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,028,598 training samples
• Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>score</code>
• Approximate statistics based on the first 100 samples:

  	sentence1	sentence2	score
  type	string	string	float
  modality	text	text
  details	<ul><li>min: 30 tokens</li><li>mean: 42.9 tokens</li><li>max: 68 tokens</li></ul>	<ul><li>min: 20 tokens</li><li>mean: 578.56 tokens</li><li>max: 1219 tokens</li></ul>	<ul><li>min: 0.0</li><li>mean: 0.24</li><li>max: 1.0</li></ul>

• Samples:

  sentence1	sentence2	score
  <code>Se eu estiver atuando em uma instalação do subgrupo A4 (2,3 kV a 25 kV) que utilize a Tarifa Horo-Sazonal Azul, qual o valor da demanda cobrada no horário de ponta e qual o valor fora de ponta?</code>	<code>Para o subgrupo A4 (2,3 a 25 kV) na Tarifa Horo-Sazonal Azul, a demanda no horário de ponta é de 3.336,91 CR$/kW e a demanda fora de ponta é de 1.111,82 CR$/kW.</code>	<code>1.0</code>
  <code>Se eu estiver atuando em uma instalação do subgrupo A4 (2,3 kV a 25 kV) que utilize a Tarifa Horo-Sazonal Azul, qual o valor da demanda cobrada no horário de ponta e qual o valor fora de ponta?</code>	<code>> Análise Visual (VLLM): A imagem apresenta um código de barras linear simples, composto por uma série de linhas verticais pretas de larguras variadas sobre um fundo branco. Abaixo do código de barras, está impresso o número correspondente em algarismos arábicos: "01067362".<br><br><br>LEGISLACAO<br><br><br>### Tabela (VLLM):<br>Aqui está a transcrição da tabela para Markdown, mantendo a fidelidade aos dados e à estrutura apresentada:<br><br>| TIPO ATO | INSTITUIÇÃO | Nº ATO | DATA DO ATO | DATA D.O | PÁG. D.O |<br>| :--- | :--- | :--- | :--- | :--- | :--- |<br>| PORTARIA | DNAEE | 1.428 | 29/11/1993 | 01/12/1993 | 18.283 |<br><br>| Descrição | Valor |<br>| :--- | :--- |<br>| A3a (30 kV a 44 kV) | 1.217,43 | 17.836,30 |<br>| A4 (2,3 kV a 25 kV) | 1.263,29 | 18.493,56 |<br>| AS (Subterrâneo) | 1.864,74 | 19.353,37 |<br>| B1-RESIDENCIAL: | | |<br>| Consumo mensal até 30 kWh | 7.821,71 |<br>| Consumo mensal de 31 a 100 kWh | 18.631,13 |<br>| Consumo mensal de 101 a 200 kWh | 31.619,32 |<br>| Consumo mensal acima 200 kWh | 41.362,97 |<br>| (linha se...</code>	<code>1.0</code>
  <code>Se eu estiver atuando em uma instalação do subgrupo A4 (2,3 kV a 25 kV) que utilize a Tarifa Horo-Sazonal Azul, qual o valor da demanda cobrada no horário de ponta e qual o valor fora de ponta?</code>	<code>### LEGISLAÇÃO<br><br>| TIPO ATO | INSTITUIÇÃO | Nº ATO | DATA DO ATO | DATA D.O | PÁG. D.O |<br>| :--- | :--- | :--- | :--- | :--- | :--- |<br>| PORTARIA | DNAEE | 1.428 | 29/11/1993 | 02/12/1993 | 18.283 |<br><br>---<br><br>### QUADRO F<br>TARIFA HORO-SAZONAL VERDE<br><br>| SEGMENTO / HORO-SAZONAL / SUBGRUPO | CONSUMO (CR$/MWh) - PONTA - SECA | CONSUMO (CR$/MWh) - PONTA - ÚMIDA | CONSUMO (CR$/MWh) - FORA DE PONTA - SECA | CONSUMO (CR$/MWh) - FORA DE PONTA - ÚMIDA |<br>| :--- | :---: | :---: | :---: | :---: |<br>| A3a | 95.560,63 | 93.993,09 | 10.043,24 | 8.876,00 |<br>| A4 | 99.069,60 | 97.445,93 | 10.409,96 | 9.199,61 |<br>| AS (Sub) | 103.675,55 | 101.976,37 | 10.893,98 | 9.627,30 |<br><br>COCEL.<br><br>---<br><br>### QUADRO G<br>TARIFA DE ULTRAPASSAGEM - HORO-SAZONAL VERDE<br><br>| SUBGRUPO | DEMANDA (CR$/kW) PERÍODO SECO OU ÚMIDO |<br>| :--- | :---: |<br>| A3a (30 a 44 kV) | 3.608,79 |<br>| A4 (2,3 a 25 kV) | 3.336,91 |<br>| AS (Subterrâneo) | 5.117,41 |<br><br>---<br><br>### QUADRO H<br>TARIFA DE EIST<br><br>| SUBGRUPO | CONSUMO (CR$/MWh) |<br>| :--- | :---: |<br>| A1 e A...</code>	<code>0.2</code>

• Loss: <code>CoSENTLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• learning_rate: 2e-05
• warmup_steps: 0.1
• gradient_accumulation_steps: 8
• bf16: True
• eval_on_start: True

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 8
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 8
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: True
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

The model card is truncated. Read the rest on Hugging Face.