bert-base-japanese-v3-jsts-with-tokenizer.onnx

https://huggingface.co/masato12/bert-base-japanese-v3-jsts-with-tokenizer with ONNX weights to be compatible with Transformers PHP

bert-base-japanese-v3-jsts

「大規模言語モデル入門」の第5章で紹介している(意味類似度計算)のモデルです。 cl-tohoku/bert-base-japanese-v3をJGLUEのJSTSデータセットでファインチューニングして構築されています。

関連リンク

• GitHubリポジトリ
• Colabノートブック（訓練）
• Colabノートブック（推論）
• データセット
• 大規模言語モデル入門（Amazon.co.jp）
• 大規模言語モデル入門（gihyo.jp）

使い方

from transformers import pipeline

text_sim_pipeline = pipeline(
    model="llm-book/bert-base-japanese-v3-jsts",
    function_to_apply="none",
)
text = "川べりでサーフボードを持った人たちがいます"
sim_text = "サーファーたちが川べりに立っています"
# textとsim_textの類似度を計算
result = text_sim_pipeline({"text": text, "text_pair": sim_text})
print(result["score"])
# 3.5703558921813965

ライセンス

Apache License 2.0

Note: Having a separate repo for ONNX weights is intended to be a temporary solution until WebML gains more traction. If you would like to make your models web-ready, we recommend converting to ONNX using 🤗 Optimum and structuring your repo like this one (with ONNX weights located in a subfolder named onnx).