ERNIE 2.0: 言語理解のための継続的な事前学習フレームワーク

最近、事前学習モデルは様々な言語理解タスクにおいて最先端の結果を達成しており、これは大規模コーパスでの事前学習が自然言語処理に重要な役割を果たす可能性があることを示しています。現在の事前学習プロセスは通常、単語や文の共起を把握するためにいくつかの単純なタスクに焦点を当てています。しかし、共起以外にも、訓練コーパスには命名エンティティ（named entity）、意味的近さ（semantic closeness）、ディスコース関係（discourse relations）などの価値ある語彙的、文法的、意味的情報が存在します。これらの情報を最大限に抽出するため、我々は継続的な事前学習フレームワークであるERNIE 2.0を提案します。このフレームワークは、継続的な多タスク学習を通じて事前学習タスクを逐次的に構築し、学習します。実験結果は、ERNIE 2.0がGLUEベンチマークにおける英語タスクや中国語の一般的ないくつかのタスクを含む16のタスクでBERTとXLNetを上回ることを示しています。ソースコードと事前学習済みモデルはhttps://github.com/PaddlePaddle/ERNIEで公開されています。