Downloads · 30 days
298
3% of all-time downloads
ken11/albert-base-japanese-v1-with-japanese-tokenizer
albert-base-japanese-v1-with-japanese-tokenizer is a fill-mask model from ken11. Use it when you need the model to fill a missing word. It is set up for transformers. The card lists the license as mit.
日本語事前学習済みALBERTモデルです このモデルではTokenizerにBertJapaneseTokenizerクラスを利用しています albert-base-japanese-v1よりトークナイズ処理が楽になっています
Downloads · 30 days
298
3% of all-time downloads
All-time downloads
9.4K
Public
Repo size
155 MB
Likes
3
Public
Click a slice to open those files.
.h562.7 MB · 58%
From the Hugging Face model README
日本語事前学習済みALBERTモデルです
このモデルではTokenizerにBertJapaneseTokenizerクラスを利用しています
albert-base-japanese-v1よりトークナイズ処理が楽になっています
このモデルはPreTrainedモデルです
基本的には各種タスク用にファインチューニングして使用されることを想定しています
from transformers import (
AutoModelForMaskedLM, AutoTokenizer
)
tokenizer = AutoTokenizer.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
model = AutoModelForMaskedLM.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
text = "明日は明日の[MASK]が吹く"
tokens = tokenizer(text, return_tensors="pt")
mask_index = tokens["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predict = model(**tokens)[0]
_, result = predict[0, mask_index].topk(5)
print(tokenizer.convert_ids_to_tokens(result.tolist()))
from transformers import (
TFAutoModelForMaskedLM, AutoTokenizer
)
import tensorflow as tf
tokenizer = AutoTokenizer.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
model = TFAutoModelForMaskedLM.from_pretrained("ken11/albert-base-japanese-v1-with-japanese-tokenizer")
text = "明日は明日の[MASK]が吹く"
tokens = tokenizer(text, return_tensors="tf")
mask_index = tokens["input_ids"][0].numpy().tolist().index(tokenizer.mask_token_id)
predict = model(**tokens)[0]
result = tf.math.top_k(predict[0, mask_index], k=5)
print(tokenizer.convert_ids_to_tokens(result.indices.numpy()))
学習には
を利用しています
トークナイザーはBertJapaneseTokenizerクラスを利用しています
こちらも学習データは同様です