LERT: Ein sprachlich motiviertes vortrainiertes Sprachmodell

Vorab trainierte Sprachmodelle (Pre-trained Language Models, PLMs) sind zu repräsentativen Grundmodellen im Bereich der natürlichsprachlichen Verarbeitung geworden. Die meisten PLMs werden mit sprachlich neutralen Vorabtrainierungsaufgaben auf der Oberflächenform des Textes trainiert, wie z.B. das maskierte Sprachmodell (Masked Language Model, MLM). Um die PLMs mit reicheren sprachlichen Merkmalen zu versehen, schlagen wir in diesem Artikel eine einfache, aber effektive Methode vor, um sprachliche Merkmale für vorab trainierte Sprachmodelle zu lernen. Wir stellen LERT vor, ein vorab trainiertes Sprachmodell, das unter Verwendung einer sprachlich informierten Vorabtrainierungsstrategie (Linguistically-Informed Pre-training, LIP) auf drei Arten von sprachlichen Merkmalen sowie der ursprünglichen MLM-Vorabtrainierungsaufgabe trainiert wird. Wir haben umfangreiche Experimente an zehn chinesischen NLU-Aufgaben durchgeführt und die experimentellen Ergebnisse zeigen, dass LERT erhebliche Verbesserungen gegenüber verschiedenen vergleichbaren Baseline-Modellen bringen kann. Darüber hinaus führen wir auch analytische Experimente in verschiedenen sprachlichen Aspekten durch und die Ergebnisse bestätigen, dass die Konzeption von LERT gültig und effektiv ist. Die Ressourcen sind unter https://github.com/ymcui/LERT verfügbar.