Neurales semantisches Parsen durch Reranking

Die semantische Parsung betrachtet die Aufgabe, natürliche Sprache (NL) Äußerungen in maschinenausführbare Bedeutungsrepräsentationen (MRs) zu überführen. Obwohl neuronale Netzwerk-basierte semantische Parser im Vergleich zu früheren Methoden beeindruckende Fortschritte erzielt haben, sind die Ergebnisse immer noch weit von Perfektion entfernt, und eine oberflächliche manuelle Inspektion lässt leicht offensichtliche Probleme wie mangelnde Angemessenheit oder Kohärenz der generierten MRs erkennen. In diesem Artikel präsentieren wir einen einfachen Ansatz, um die Leistung eines bestehenden neuronalen semantischen Parsers schnell zu iterieren und zu verbessern, indem ein n-Best-Liste vorhergesagter MRs neu bewertet wird, wobei Merkmale verwendet werden, die speziell darauf abzielen, beobachtete Schwächen der Baseline-Modelle zu beheben. Wir implementieren unseren Reranker in einem konkurrenzfähigen neuronalen semantischen Parser und testen ihn auf vier Aufgaben der semantischen Parsung (GEO, ATIS) sowie der Python-Codegenerierung (Django, CoNaLa). Dabei verbessern wir den starken Baseline-Parser um bis zu 5,7 Prozentpunkte in BLEU (CoNaLa) und um 2,9 Prozentpunkte in Genauigkeit (Django) und erreichen damit die besten veröffentlichten Ergebnisse neuronaler Parser auf allen vier Datensätzen.