Downloads · 30 days
1.9K
1% of all-time downloads
llm-book/bert-base-japanese-v3-jsts
bert-base-japanese-v3-jsts is a text classification model from llm-book. Use it when you need a label for a piece of text. It is set up for transformers. The card lists the license as apache-2.0.
「大規模言語モデル入門」の第5章で紹介している(意味類似度計算)のモデルです。 cl-tohoku/bert-base-japanese-v3をJGLUEのJSTSデータセットでファインチューニングして構築されています。
Downloads · 30 days
1.9K
1% of all-time downloads
All-time downloads
209K
Public
Repo size
890 MB
Likes
2
Public
Click a slice to open those files.
.bin445 MB · 100%
From the Hugging Face model README
「大規模言語モデル入門」の第5章で紹介している(意味類似度計算)のモデルです。 cl-tohoku/bert-base-japanese-v3をJGLUEのJSTSデータセットでファインチューニングして構築されています。
from transformers import pipeline
text_sim_pipeline = pipeline(
model="llm-book/bert-base-japanese-v3-jsts",
function_to_apply="none",
)
text = "川べりでサーフボードを持った人たちがいます"
sim_text = "サーファーたちが川べりに立っています"
# textとsim_textの類似度を計算
result = text_sim_pipeline({"text": text, "text_pair": sim_text})
print(result["score"])
# 3.5703558921813965