Downloads · 30 days
0
ngmodel_distilled_nlp2024
Roy029/ngmodel_distilled_nlp2024
ngmodel_distilled_nlp2024 is a machine learning model from Roy029. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Access
Public
Updated Jan 16, 2024
Repo size
671 KB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.model671 KB · 99%
At a glance
- License
- apache-2.0
- Access
- Public
- Created
- Jan 12, 2024
- Updated
- Jan 16, 2024
- SHA
- 0737c235
Model card
From the Hugging Face model README
有害コンテンツ判定のための有害濃縮語彙モデル(32k) for NLP2024
トークナイザのテキスト圧縮率を算出するためのモデル
Model Description
SentencePieceのユニグラムモードを適用して構築した有害語彙モデル
圧縮率の算出方法
圧縮率 = 1 - (トークン数/元々のテキスト文字列長)
発表
@InProceedings{jwu:nlp2023,
author = {梶浦 照乃, 山内 璃乃, 小柳 響子, 東出 紗也夏, 倉光 君郎},
title = {トークナイザーの圧縮率を用いた有害コンテンツの判定法},
booktitle = {言語処理学会第30回年次大会 (NLP2024)},
year = {2024},
}
- License
- apache-2.0
- Created
- Jan 12, 2024
- Updated
- Jan 16, 2024