Downloads · 30 days
116
1% of all-time downloads
Deberta-Chinese-Large
WENGSYX/Deberta-Chinese-Large
Deberta-Chinese-Large is a machine learning model from WENGSYX. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers.
本项目，基于微软开源的Deberta模型，在中文领域进行预训练。开源本模型，旨在为其他人提供更多预训练语言模型选择。
All-time downloads
11.4K
Public
Repo size
3.9 GB
Likes
16
Public
Repo makeup
Click a slice to open those files.
.bin1.5 GB · 63%
At a glance
- Library
- transformers
- Model type
- deberta
- Access
- Public
- Created
- Mar 2, 2022
- Updated
- Mar 31, 2022
- SHA
- c5861916
Model card
From the Hugging Face model README
Deberta-Chinese
本项目，基于微软开源的Deberta模型，在中文领域进行预训练。开源本模型，旨在为其他人提供更多预训练语言模型选择。
本预训练模型，基于WuDaoCorpora语料库预训练而成。WuDaoCorpora是北京智源人工智能研究院（智源研究院）构建的大规模、高质量数据集，用于支撑“悟道”大模型项目研究。
使用WWM与n-gramMLM 等预训练方法进行预训练。
| 预训练模型 | 学习率 | batchsize | 设备 | 语料库 | 时间 | 优化器 |
|---|---|---|---|---|---|---|
| Deberta-Chinese-Large | 1e-5 | 512 | 2*3090 | 200G | 14天 | AdamW |
加载与使用
依托于huggingface-transformers
tokenizer = BertTokenizer.from_pretrained("WENGSYX/Deberta-Chinese-Large")
model = AutoModel.from_pretrained("WENGSYX/Deberta-Chinese-Large")
注意，请使用BertTokenizer加载中文词表
- Library
- transformers
- Type
- deberta
- Created
- Mar 2, 2022
- Updated
- Mar 31, 2022