bge-m3.gguf

bge-m3.gguf

import torch
from llama_cpp import Llama
from sentence_transformers import SentenceTransformer
from scipy.spatial.distance import cosine

model = SentenceTransformer(
    "BAAI/bge-m3",
    model_kwargs={"torch_dtype": torch.float16}
)
llm = Llama.from_pretrained(
    "mykor/bge-m3.gguf",
    filename="bge-m3-567M-F16.gguf",
    embedding=True,
    verbose=False,
)

text = """움츠러든 어깨를 따라서 다시 저물어가는 오늘의 끝
밤이 조용히 나를 안으면 무너져가는 날 잊어버릴 수 있어
색 바랜 오늘은 희망 위에 내일의 구름을 드리우고
다시 깊은 잠에 빠져들어, 그날을 위한 연습인 것처럼

질리지도 않고 나를 처방하는 만약이라는 말
항상 똑같은 매일은 내성이 되어 내일을 어지러이 무너뜨려

쓰라린 날에 쓰라린 나를 삼키지 못해 뱉어내고 싶었던 밤
의미도 없이 건넨 위선의 말, 추락을 향해 올라가는 날 만들어
그리운 날에 드리운 맘이 아름다웠던 날들을 덧칠할까 봐
잊어버릴게, 눈을 감고

흩어져 사라질 듯한 그댄 허무하고 애달픈 꽃망울
모질게 내린 눈물에 잠겨 피지 못하고 멈춰있지만
차디찬 철길 위에 놓여 나아갈 방향을 모를 뿐이야
내가 그댈 두 손에 그러모아 레일에 꽃 핀 내일을 비추게 해줘

메마른 꽃잎이 읽지 못한 오늘에 갈피를 꽂아서
더 이상 그댈 읽지 못하는 나는 그저 오늘의 끝에 매달릴 뿐

찬란한 날에 찬란한 그댈 차마 비추지 못하고 스러져갔던 낯
심장을 끄집어내 힘껏 소리쳐도 결말을 향해 추락하는 우리가 있어
그리운 날에 드리운 맘이 내일조차 허락하지 않는다 해도
잊지 않을게, 두 눈 감는 날까지

피어나고 피어나도 시들어버리는 슬픔이란 꽃
짙어져만 가는 그대의 아픔이 마지막을 향해 꽃을 피워내고 있어
고마웠어, 미안했어, 양손에 가득 품은 꽃다발과
너를 떠나가는 걸

사실은 나도 있잖아, 살아가고 싶어, 밀려드는 절망에 묻혀 사라지던
아픈 오늘과 두려운 내일 그 사이에 어느새 네가 들어왔어
쓰라린 날에 찬란한 네가 내게 살아있어줘서 그저 고맙다고
잊지 않을게 영원히"""
embed1 = model.encode(text)
embed2 = llm.embed(text)
print(cosine(embed1, embed2))

2.879617546280855e-05