Downloads · 30 days
56
6% of all-time downloads
tzmtwtr/albert_simcse_japanese
albert_simcse_japanese is a feature extraction model from tzmtwtr. Use it when you need embeddings to search or compare text. It is set up for transformers. The card lists the license as mit.
Downloads · 30 days
56
6% of all-time downloads
All-time downloads
884
Public
Repo size
2.1 GB
Likes
0
Public
Click a slice to open those files.
.bin47.8 MB · 99%
From the Hugging Face model README
注:動作未検証
日本語のSentence Embedding用albert
以下のモデルから転移学習を実施。
https://huggingface.co/ken11/albert-base-japanese-v1-with-japanese-tokenizer
学習はllm-book/bert-base-japanese-v3-unsup-simcse-jawiki記載のColabノートブックを使用した
ベクトル検索のために小規模言語モデルが必要になった。 AWS Lambdaで動かせるようにしたい。