ECONET: Effektive kontinuierliche Vortraining von Sprachmodellen für ereigniszeitliche Schlussfolgerungen

Obwohl vortrainierte Sprachmodelle (PTLMs) erhebliche Erfolge bei zahlreichen NLP-Aufgaben erzielt haben, zeigen sie weiterhin Schwächen bei Aufgaben, die ereignisbasierte zeitliche Schlussfolgerungen erfordern, was für ereigniszentrierte Anwendungen essenziell ist. Wir stellen einen kontinuierlichen Vortrainingsansatz vor, der PTLMs gezieltes Wissen über zeitliche Beziehungen zwischen Ereignissen vermittelt. Dazu entwerfen wir selbstüberwachte Lernziele, um maskierte Ereignis- und zeitliche Indikatoren wiederherzustellen sowie Sätze von ihren verfälschten Varianten zu unterscheiden (bei denen Ereignis- oder zeitliche Indikatoren ersetzt wurden). Durch die gemeinsame Weitertrainierung eines PTLMs mit diesen Zielen stärken wir dessen Aufmerksamkeit für ereignis- und zeitbezogene Informationen und verbessern so dessen Fähigkeit zur ereignisbasierten zeitlichen Schlussfolgerung. Dieser effektive Rahmen für kontinuierliches Vortrainieren zur ereignisbasierten zeitlichen Schlussfolgerung (ECONET) verbessert die Fine-Tuning-Leistungen der PTLMs bei fünf Aufgaben zur Relationsextraktion und Fragebeantwortung und erreicht in den meisten unserer abgeleiteten Aufgaben neue oder konkurrenzfähige SOTA-Ergebnisse.