Downloads · 30 days
4
5% of all-time downloads
bert-finetuned-multilingual-sentiments-adafactor
A-Funakoshi/bert-finetuned-multilingual-sentiments-adafactor
bert-finetuned-multilingual-sentiments-adafactor is a text classification model from A-Funakoshi. Use it when you need a label for a piece of text. It is set up for transformers.
- ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking - データセット：tyqiangz/multilingual-sentiments - バッチサイズ: 16固定 - オプティマイザ: adafactor - Optunaでハイパーパラメータ探索 - 学習率スケジュールのタイプ(lrschedulertype): constant, linear, cosine -…
All-time downloads
79
Public
Repo size
885 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.bin443 MB · 100%
At a glance
- Task
- Text Classification
- Library
- transformers
- Model type
- bert
- Access
- Public
- Created
- Oct 4, 2023
- Updated
- Oct 25, 2023
- SHA
- 1a779f07
Model card
From the Hugging Face model README
multilingual-sentimentsデータセットをbertベースのモデルでfinetuningしたもの
-
ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking
-
データセット：tyqiangz/multilingual-sentiments
-
バッチサイズ: 16固定
-
オプティマイザ: adafactor
-
Optunaでハイパーパラメータ探索
- 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine
- 学習率(learning rate): 1e-6 ~ 1e-4
- 勾配累積ステップ(gradient_accumulation_steps): 1, 2, 4, 8, 16
- 正則化(weight_decay): 1e-6 ~ 1e-1
-
Optunaでの探索結果は以下
- 学習率スケジュールタイプ(lr_scheduler_type): cosine
- 学習率(learning rate): 2.64959745375728e-05
- 勾配累積ステップ(gradient_accumulation_steps): 4
- 正則化(weight_decay): 1.1217342612041105e-06
このハイパーパラメータを使って再度finetuningした．
- Task
- Text Classification
- Library
- transformers
- Type
- bert
- Languages
- ja
- Created
- Oct 4, 2023
- Updated
- Oct 25, 2023