Kürzlich haben vortrainierte Modelle in verschiedenen Sprachverarbeitungsaufgaben erstklassige Ergebnisse erzielt, was darauf hinweist, dass das Vortraining auf großen Korpora eine entscheidende Rolle in der natürlichen Sprachverarbeitung spielen könnte. Die aktuellen Vortrainierungsverfahren konzentrieren sich in der Regel darauf, das Modell mit einigen einfachen Aufgaben zu trainieren, um die Ko-Occurrence von Wörtern oder Sätzen zu erfassen. Allerdings enthält die Trainingskorpora neben der Ko-Occurrence auch andere wertvolle lexikalische, syntaktische und semantische Informationen, wie benannte Entitäten (named entity), semantische Nähe (semantic closeness) und Diskursbeziehungen (discourse relations). Um diese lexikalischen, syntaktischen und semantischen Informationen aus den Trainingskorpora möglichst vollständig zu extrahieren, schlagen wir einen kontinuierlichen Vortrainierungsrahmen vor, den ERNIE 2.0, der durch ständiges Multitask-Lernen inkrementell Vortrainieraufgaben erstellt und lernt. Experimentelle Ergebnisse zeigen, dass ERNIE 2.0 sowohl bei 16 Aufgaben des englischen GLUE-Benchmarks als auch bei mehreren gängigen chinesischen Aufgaben BERT und XLNet übertrifft. Die Quellcode und vortrainierten Modelle wurden unter https://github.com/PaddlePaddle/ERNIE veröffentlicht.