Erlangshen-BERT-120M-IE-Chinese

Erlangshen-BERT-120M-IE-Chinese

• Main Page:Fengshenbang
• Github: Fengshenbang-LM

简介 Brief Introduction

本模型基于大规模信息抽取数据进行预训练，可支持few-shot、zero-shot场景下的实体识别、关系三元组抽取任务。

This model is pre-trained on large-scale information extraction data, to better support Named Entity Recognition (NER) and Relation Extraction (RE) tasks in few-shot/zero-shot scenarios.

模型分类 Model Taxonomy

下游效果 Performance

Erlangshen-BERT-120M-IE-Chinese在多个信息抽取任务下进行测试。

其中，zh_weibo/MSRA/OntoNote4/Resume为NER任务，其中MSRA在原始数据下进行测试；SanWen/FinRE作为实体关系联合抽取任务进行测试，非单一关系分类任务。

部分参数设置如下：

batch_size=16
precision=16
max_epoch=50
lr=2e-5
weight_decay=0.1
warmup=0.06
max_length=512

我们分别在随机种子123/456/789下进行测试，并以MacBERT-base, Chinese作为预训练模型保持相同参数进行训练作为对比baseline，得到效果计算平均，效果如下：

使用 Usage

GTS引擎（GTS-Engine）是一款开箱即用且性能强大的自然语言理解引擎，能够仅用小样本就能自动化生产NLP模型。GTS Engine包含两个训练引擎：乾坤鼎和八卦炉。

本模型为可在GTS-Engine八卦炉引擎信息抽取任务中，作为预训练模型进行finetune。

GTS-Engine文档参考：GTS-Engine

引用

如果您在您的工作中使用了我们的模型，可以引用我们的网站:

You can also cite our website:

@misc{GTS-Engine,
  title={GTS-Engine},
  author={IDEA-CCNL},
  year={2022},
  howpublished={\url{https://github.com/IDEA-CCNL/GTS-Engine}},
}