avito_bge_m3_lora

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3 <!-- at revision 5617a9f61b028005a4858fdac845db406aefb181 -->
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

<!-- - **Training Dataset:** Unknown --> <!-- - **Language:** Unknown --> <!-- - **License:** Unknown -->

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Здравствуйте. Продавец не отправил заказ, в заказе я использовала промокод на бесплатную доставку. Смогу ли я использовать этот промокод для другого заказа?',
    'Промокод на доставку \n Авито проводит акции, участники которых могут получить промокод со скидкой на доставку в пункт выдачи, постамат или курьером. На доставку силами продавца промокод не действует. Подробнее про правила акции.\n\n1. Промокод суммируется с другими скидками. В таком случае минимальная стоимость доставки будет 1 ₽.\n\n2. Если вы заказываете сразу несколько товаров, промокод можно использовать только на доставку в пункт выдачи. С курьерской доставкой промокод можно использовать только на доставку одного товара.\n\nКак использовать промокод\n\nНа сайте\n\nВ приложении и мобильной версии\n\n1. На странице оформления заказа выберите способ доставки.\n\n2. Справа, под кнопкой Оплатить, появится поле Промокод — введите промокод сюда.\n\nНа странице оформления заказа в блоке Скидки кликните на Промокод — введите промокод сюда.\n\n💡 Если поля нет — обновите приложение до последней версии. Пока это можно сделать только в Google Play. В App Store приложения Авито сейчас нет — мы уже разбираемся в причинах, а пока рекомендуем использовать мобильную версию сайта.\n\nВижу ошибку\n\n«Такого промокода нет»\n\nПроверьте, что ввели промокод правильно, с учётом больших и маленьких букв. Если всё верно, значит акция закончилась — и скидка больше не действует.\n\n«Вы уже использовали этот промокод» или «Вы применили код n раз: это максимум»\n\nЕсли вы уже использовали промокод и заказ отправили, применить промокод ещё раз не получится.\n\nЕсли вы применили промокод, но заказ не был оплачен или товар не отправили — этот промокод просто временно заморозится, максимум на 48 часов.\n\n💡 Отмените заказ, тогда промокод вернётся в течение часа — и его можно будет использовать повторно.\n\n«Промокод не действует в вашем регионе»\n\nЗначит скидка не действует в регионе, в котором вы оформляете заказ.',
    'Отправить заказ \n У вас будет 2 рабочих дня, чтобы отправить товар (не считая день оплаты заказа).\n\nЕсли не успеваете — продлите отправку на 4 календарных дня по кнопке Продлить срок отправки на странице заказа.\n\nЧто делать, если не успеваете отправить заказ.\n\nПроверьте, что товар подходит под разрешённые габариты нужной службы доставки. Если это не так — вещь не примут.\n\nПосмотреть разрешённые габариты и вес.\n\nПеред отправкой товар нужно надёжно упаковать — это можно сделать дома или в пункте приёма.\n\nНе во всех пунктах есть бесплатная упаковка.\n\nНадёжная упаковка — обязательное условие, без неё заказ не примут.\n\nНо не запаковывайте товар полностью, чтобы сотрудники могли проверить содержимое.\n\nСфотографируйте товар и упаковку, а если это техника — запишите на видео, как она работает. Это поможет нам быстрее во всём разобраться, если с заказом что-то случится во время доставки.\n\nЕсли в вашем профиле подключен совместный доступ, отправить товар может приглашённый пользователь — всю нужную информацию для отправки он увидит на странице заказа, когда зайдёт в ваш профиль.\n\nДальше всё зависит от того, каким способом вы отправляете заказ\n\nПункт выдачи\n\nПостамат или касса\n\nКурьером\n\nСвоей службой доставки\n\nДоставка для бизнеса\n\nЗайдите на страницу заказа, выберите удобный вам пункт приёма на карте и отнесите туда товар.\n\nЧто нужно для отправки\n\nШтрихкод или номер заказа и оригинал паспорта РФ — фото документа или страница на Госуслугах не подойдут.\n\nНо если на странице заказа написано, что паспорт показывать не нужно, достаточно штрихкода или номера заказа.\n\nВместо паспорта РФ можно показать:\n\nзагранпаспорт (принимается по усмотрению службы доставки),\n\nпаспорт иностранного гражданина,\n\nвременное удостоверение личности гражданина РФ,\n\nвоенный билет,\n\nудостоверение личности моряка или паспорт моряка.\n\nОтправить заказ без документа\n\nМожно в пунктах Авито и Яндекса— для этого нужно подтвердить профиль:\n\nпо паспорту,\n\nT-ID,\n\nСбер ID,\n\nАльфа ID,\n\nВТБ ID\n\nили через Госуслуги, если есть подтверждённая учётная запись.\n\nКто может отправить вместо меня\n\nОтправить товар может ваш родственник или друг — главное, чтобы он показал сотруднику пункта:\n\nоригинал паспорта\n\nи штрихкод заказа (или его номер).\n\nДокументы для отправки не потребуются,\n\nесли товар нужно отправить через пункты Авито или Яндекса, и вы подтвердили профиль:\n\nпо паспорту,\n\nT-ID,\n\nСбер ID,\n\nАльфа ID,\n\nВТБ ID\n\nили через Госуслуги, если есть подтверждённая учётная запись.\n\nВ этом случае вашему другу или родственнику достаточно будет показать штрихкод заказа.\n\nКак найти пункт выдачи\n\nВы можете отправить товар из любого пункта той службы доставки, которую выбрал покупатель. Чтобы посмотреть ближайшие пункты на карте: страница заказа → Посмотреть пункты приёма.\n\nНа карте подсвечены ближайшие пункты к тому адресу, который вы указали в профиле и объявлении. Если пункта, через который вы хотите отправить товар, нет — скорее всего, он сейчас не принимает заказы.\n\nМожно ли выбрать службу доставки\n\nСлужбу доставки выбирает покупатель.\n\nЕсли вам неудобно отправить товар этой службой — напишите покупателю и попробуйте вместе выбрать новую службу, которая подходит вам обоим.\n\nМожно ли отправить из другого города\n\nОтправить товар из другого города или изменить город в уже оформленном заказе не получится.\n\nВы можете отправить заказ только из того города, который стоял у вас в объявлении, когда покупатель оформил заказ.\n\nЕсли этот вариант не подходит — отмените заказ, измените адрес в объявлении и попросите покупателя перезаказать товар.\n\n🚚 Про крупногабаритную доставку в пункты выдачи мы рассказываем в отдельной статье.\n\n💡 Отправить заказ через постамат могут пользователи, которые уже отправляли заказы другой службой доставки, или пользователи с подтверждённым профилем.\n\nЗайдите на страницу заказа, выберите удобный вам постамат на карте и отнесите туда товар.\n\nКуда нажимать на экране постамата\n\nНа экране постамата 5Post нажмите: Отправить заказ → Отправить посылку как физлицо → Выбрать размер ячейки.\n\nОтсканируйте QR-код или введите номер со страницы заказа.\n\nПостамат распечатает этикетку со штрихкодом, наклейте её на товар.\n\nОткроется ячейка, положите туда товар и закройте дверцу.\n\nЕсли закончилась бумага для этикеток — подойдите на кассу и отправьте товар оттуда.\n\nЕсли товар не помещается в постамат или нужная ячейка горит на экране серым — обратитесь к администратору или напишите нам.\n\nКак найти постамат\n\nЧтобы посмотреть ближайшие постаматы на карте: страница заказа → Показать постаматы.\n\nЗаказ 5Post можно отправить не только через постамат, но и на кассе в магазинах «Пятёрочка» и «Перекрёсток». Возле каждой точки на карте будет написано, где отправляют товары в этом магазине: на кассе или в постамате.\n\nКак упаковать заказ\n\nНужно самостоятельно упаковать товар — служба доставки дополнительно не упаковывает отправления. Заказ поедет к покупателю в том виде, в котором вы положите его в постамат.\n\nКакие размеры можно отправить\n\nСумма сторон упаковки не менее 10 см, но не более 40×36×61 см.\n\nЗайдите на страницу заказа, выберите дату и место встречи с курьером. На всякий случай: покупатель указывает во время оформления доставки, когда ему было бы удобно получить товар.\n\nКогда выберите дату и время, покупатель должен финально подтвердить заказ. После этого ждите курьера — он приедет за товаром.\n\nКурьер опаздывает\n\nИногда случается так, что курьеры опаздывают — тогда они постараются связаться с вами и предупредить. Узнать, где курьер.\n\nТакже вы можете попросить покупателя отменить заказ. Для этого ему нужно перейти на страницу заказа → Отменить заказ.\n\nА ещё можно попросить друга или родственника встретить курьера. Чтобы он смог забрать товар — передайте ему код из смс.\n\nЗаказ отменился, нет свободных курьеров\n\nЕсли свободных курьеров нет — служба доставки может отменить заказ. Если вдруг такое случилось — договоритесь с покупателем оформить доставку на другое время или в пункт выдачи.\n\nМожно ли изменить время доставки\n\nТолько до того момента, пока покупатель финально не подтвердил заказ. Когда он это сделает — изменить адрес и время доставки уже не получится (доставку нужно будет отменить).\n\nКакие документы нужны для отправки\n\nВам придёт смс с кодом — назовите его курьеру. Больше ничего не требуется.\n\nНужно ли упаковать заказ\n\nДа, нужно надёжно упаковать товар — потому что у курьера нет дополнительной упаковки. Заказ поедет к покупателю в том виде, в котором вы его отправите.\n\n🚚 Про крупногабаритную доставку Яндекс Грузовой мы рассказываем в отдельной статье.\n\nВот примерный порядок действий, что вам нужно сделать:\n\nСтраница заказа → найдите сделку со статусом Уточните цену → введите стоимость и срок доставки. Там же вы найдёте ссылку на калькулятор у службы доставки.\n\nЕсли покупателя всё устроит — в разделе Заказы появится новая сделка. Вам нужно её подтвердить: страница заказа → Подтвердить. Это нужно сделать в течение 24 часов (если сделку не подтвердить, заказ автоматически отменится).\n\nСоздайте заказ в службе доставки и пришлите нам трек-номер. Для этого: страница заказа → Указать трек-номер. Это нужно сделать в течение 48 часов, иначе сделка отменится автоматически.\n\nМы проверим трек-номер и передадим покупателю, чтобы он мог отслеживать доставку.\n\nОтправьте товар.\n\nДождитесь, когда покупатель получит товар.\n\n🔔 Если доставка в пункт выдачи — после получения товара покупателем в течение 48 часов на странице заказа появится кнопка Указать номер карты (по ней вы сможете вывести деньги). Однако покупатель может отказаться от товара и вернуть его вам обратно.\n\n🔔 Если доставка курьером — нажмите в заказе Товар доставлен. После этого у покупателя будет ещё 48 часов на то, чтобы подтвердить получение.\n\nТо есть вы юрлицо или ИП и подтвердили реквизиты\n\nЕсли доставка в пункт выдачи\n\nВыберите отделение, куда отнесёте заказ. Для этого: кабинет Авито Pro → Нужный заказ → Показать пункты приёма. В заказе будет написано, до какой даты нужно отправить товар.\n\nОтправьте товар сами или попросите сотрудника, у которого есть доверенность.\n\nЕсли отправляете товар через Авито или Яндекс — назовите номер отправления или покажите оператору штрихкод из мобильной версии/приложения Авито (находятся в разделе Заказы). В этом случае паспорт не нужен.\n\nЕсли отправляете через Почту России, СДЭК или ПЭК — могут попросить оригинал паспорта и доверенность.\n\nУпакуйте товар — службы доставки не предоставляют бесплатную упаковку для бизнес-заказов.\n\nКогда товар примут к отправке, вам дадут накладную или вышлют документ на почту из профиля Авито. Сохраните накладные до тех пор, пока не получите оплату.\n\nЕсли доставка курьером\n\nУпакуйте товар — у курьера нет дополнительной упаковки. То есть заказ поедет к покупателю в том виде, в котором вы его отправите.\n\nУкажите время и место, где вы готовы передать заказ курьеру. Для этого кабинет Авито Pro → Нужный заказ → Указать время и место. Там же напишите свой номер или телефон того, кто будет передавать заказ. На этот номер придёт смс с контактами курьера и кодом заказа.\n\nВстретьтесь с курьером, назовите код заказа и передайте ему товар.\n\nКак отправить сразу много заказов',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6903, 0.6238],
#         [0.6903, 1.0000, 0.5970],
#         [0.6238, 0.5970, 1.0000]])

<!-- ### Direct Usage (Transformers) <details><summary>Click to see the direct usage in Transformers</summary> </details> --> <!-- ### Downstream Usage (Sentence Transformers) You can finetune this model on your own dataset. <details><summary>Click to expand</summary> </details> --> <!-- ### Out-of-Scope Use *List how the model may foreseeably be misused and address what users ought not to do with the model.* --> <!-- ## Bias, Risks and Limitations *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* --> <!-- ### Recommendations *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* -->

Training Details

• Loss: <code>MultipleNegativesRankingLoss</code> with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• learning_rate: 3e-05
• weight_decay: 0.01
• gradient_accumulation_steps: 4
• fp16: True
• per_device_eval_batch_size: 4
• load_best_model_at_end: True
• dataloader_num_workers: 2

All Hyperparameters

<details><summary>Click to expand</summary>

• per_device_train_batch_size: 4
• num_train_epochs: 3
• max_steps: -1
• learning_rate: 3e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 4
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 4
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 2
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

• The bold row denotes the saved checkpoint.

</details>

Training Time

• Training: 2.1 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.13.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

<!-- ## Glossary *Clearly define terms in order to be accessible across audiences.* --> <!-- ## Model Card Authors *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* --> <!-- ## Model Card Contact *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* -->