StepGame: Ein neuer Benchmark für robuste Multi-Hop-Raum-Schlussfolgerung in Texten

Die Ableitung räumlicher Beziehungen in natürlicher Sprache ist eine entscheidende Fähigkeit, die ein intelligentes System besitzen sollte. Der bAbI-Datensatz versucht, Aufgaben aus diesem Bereich abzubilden (Aufgabe 17 und 19). Diese Aufgaben weisen jedoch mehrere Einschränkungen auf. Vor allem sind sie auf feste Ausdrücke beschränkt, erfordern nur eine geringe Anzahl an Schlussfolgerungsschritten und testen die Robustheit von Modellen gegenüber Eingaben, die irrelevante oder redundante Informationen enthalten. In diesem Paper stellen wir einen neuen Frage-Antwort-Datensatz namens StepGame vor, der auf robuste mehrschrittige räumliche Schlussfolgerungen in Texten abzielt. Unsere Experimente zeigen, dass state-of-the-art-Modelle auf dem bAbI-Datensatz Schwierigkeiten mit dem StepGame-Datensatz haben. Darüber hinaus schlagen wir ein tensorproduktbasiertes, speichererweiterndes neuronales Netzwerk (TP-MANN) vor, das speziell für räumliche Schlussfolgerungsaufgaben konzipiert ist. Experimentelle Ergebnisse auf beiden Datensätzen belegen, dass unser Modell alle Baselines mit überlegener Generalisierungs- und Robustheitsleistung übertrifft.