HyperAIHyperAI

Command Palette

Search for a command to run...

ECONET: Effektive kontinuierliche Vortraining von Sprachmodellen für ereigniszeitliche Schlussfolgerungen

Rujun Han Xiang Ren Nanyun Peng

Zusammenfassung

Obwohl vortrainierte Sprachmodelle (PTLMs) erhebliche Erfolge bei zahlreichen NLP-Aufgaben erzielt haben, zeigen sie weiterhin Schwächen bei Aufgaben, die ereignisbasierte zeitliche Schlussfolgerungen erfordern, was für ereigniszentrierte Anwendungen essenziell ist. Wir stellen einen kontinuierlichen Vortrainingsansatz vor, der PTLMs gezieltes Wissen über zeitliche Beziehungen zwischen Ereignissen vermittelt. Dazu entwerfen wir selbstüberwachte Lernziele, um maskierte Ereignis- und zeitliche Indikatoren wiederherzustellen sowie Sätze von ihren verfälschten Varianten zu unterscheiden (bei denen Ereignis- oder zeitliche Indikatoren ersetzt wurden). Durch die gemeinsame Weitertrainierung eines PTLMs mit diesen Zielen stärken wir dessen Aufmerksamkeit für ereignis- und zeitbezogene Informationen und verbessern so dessen Fähigkeit zur ereignisbasierten zeitlichen Schlussfolgerung. Dieser effektive Rahmen für kontinuierliches Vortrainieren zur ereignisbasierten zeitlichen Schlussfolgerung (ECONET) verbessert die Fine-Tuning-Leistungen der PTLMs bei fünf Aufgaben zur Relationsextraktion und Fragebeantwortung und erreicht in den meisten unserer abgeleiteten Aufgaben neue oder konkurrenzfähige SOTA-Ergebnisse.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp