rubert-mini-uncased-GGUF

rubert-mini-uncased-GGUF

Оригинальная модель: rubert-mini-uncased

Для запуска модели в качестве сервера необходимо использовать llama.cpp:

llama-server -m rubert-mini-uncased-q8_0.gguf -c 512 -ngl 99 --embedding --port 8080

Возможно использование с LM Studio.

Использование модели после запуска llama-server:

import numpy as np
import requests
import json

def embeding(text):
    url = 'http://127.0.0.1:8080/v1/embeddings'  
    headers = {"Content-Type": "application/json", "Authorization": "no-key"} 
    data={"input": text,
          "model": "rubert-mini-uncased",
          "encoding_format": "float"}
    r = requests.post(url, headers=headers, data=json.dumps(data))
    emb = np.array([np.array(s['embedding']) for s in r.json()['data']])
    return emb

inputs = [
    # 
    "paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
    "categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
    # 
    "paraphrase: Ярославским баням разрешили работать без посетителей",
    "categorize_entailment: Женщину спасают врачи.",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
]

embeddings = embeding(inputs)
sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diagonal().tolist())

# [0.9365279201944358, 0.8030448289720129, 0.6826768729478850] - rubert-mini-uncased-f32
# [0.9365603574226906, 0.8029491439999603, 0.6826115652313832] - rubert-mini-uncased-f16
# [0.9362014453563489, 0.8019812246234975, 0.6823210638303931] - rubert-mini-uncased-q8_0

# [0.9366128444671631, 0.8030662536621094, 0.6826460957527161] - rubert-mini-uncased (torch)
# [0.9360030293464661, 0.8591322302818298, 0.7285830378532410] - FRIDA