Downloads · 30 days
84
12% of all-time downloads
bert-base-japanese-v3-wrime-v2
A-Funakoshi/bert-base-japanese-v3-wrime-v2
bert-base-japanese-v3-wrime-v2 is a text classification model from A-Funakoshi. Use it when you need a label for a piece of text. It is set up for transformers.
- ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking - データセット：llm-book/wrime-sentiment - オプティマイザ: adamw - Optunaでハイパーパラメータ探索 - 学習率スケジュールのタイプ(lrschedulertype): constant, linear, cosine - 学習率(learning rate): 1e-6 ~…
All-time downloads
697
Public
Repo size
885 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.bin443 MB · 99%
At a glance
- Task
- Text Classification
- Library
- transformers
- Model type
- bert
- Access
- Public
- Created
- Oct 27, 2023
- Updated
- Oct 27, 2023
- SHA
- 58056b5a
Model card
From the Hugging Face model README
-
ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking
-
データセット：llm-book/wrime-sentiment
-
オプティマイザ: adamw
-
Optunaでハイパーパラメータ探索
- 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine
- 学習率(learning rate): 1e-6 ~ 1e-4
- バッチサイズ(per_device_train_batch_size): 16, 32, 64, 128, 256
- 正則化(weight_decay): 1e-6 ~ 1e-1
-
Optunaでの探索結果は以下
- 学習率スケジュールタイプ(lr_scheduler_type): cosine
- 学習率(learning rate): 3.912141264809884e-05
- バッチサイズ(per_device_train_batch_size): 128
- 正則化(weight_decay): 5.220051265759252e-05
- Epoch: 100
- EarlyStopping: early_stopping_patience=3
このハイパーパラメータを使って再度finetuningした．
- Task
- Text Classification
- Library
- transformers
- Type
- bert
- Languages
- ja
- Created
- Oct 27, 2023
- Updated
- Oct 27, 2023