HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der AMR-Parserung durch sequenz-zu-Sequenz-Vortrainierung

Dongqin Xu Junhui Li Muhua Zhu Min Zhang Guodong Zhou

Zusammenfassung

In der Literatur ist die Forschung zu Abstract Meaning Representation (AMR)-Parsing stark durch die Größe des menschlich annotierten Datensatzes eingeschränkt, der entscheidend für die Entwicklung eines AMR-Parsers mit guter Leistung ist. Um diese Beschränkung hinsichtlich der Datengröße zu verringern, gewinnen vortrainierte Modelle zunehmend an Aufmerksamkeit im Bereich des AMR-Parsing. Allerdings sind bisherige vortrainierte Modelle, wie BERT, für allgemeine Zwecke konzipiert und könnten für die spezifische Aufgabe des AMR-Parsing nicht optimal funktionieren. In diesem Artikel konzentrieren wir uns auf sequenz-zu-Sequenz (seq2seq)-AMR-Parsing und schlagen einen seq2seq-Vortrainierungsansatz vor, um vortrainierte Modelle sowohl einzeln als auch gemeinsam auf drei relevanten Aufgaben zu entwickeln: maschinelle Übersetzung, syntaktische Analyse und AMR-Parsing selbst. Darüber hinaus erweitern wir die herkömmliche Feinabstimmung (fine-tuning) zu einem Multi-Task-Lern-Feinabstimmungsansatz, der die Leistung beim AMR-Parsing optimiert, gleichzeitig aber auch darauf abzielt, die Reaktionen der vortrainierten Modelle zu bewahren. Umfassende experimentelle Ergebnisse auf zwei englischen Benchmark-Datensätzen zeigen, dass sowohl die einzelnen als auch die gemeinsam vortrainierten Modelle die Leistung erheblich verbessern (z. B. von 71,5 auf 80,2 auf AMR 2.0), was den Stand der Technik erreicht. Das Ergebnis ist äußerst vielversprechend, da wir dies mit seq2seq-Modellen erreicht haben, ohne auf komplexe Architekturen angewiesen zu sein. Wir stellen unseren Code und die Modelle unter https://github.com/xdqkid/S2S-AMR-Parser zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp