HyperAIHyperAI

Command Palette

Search for a command to run...

StepGame: Ein neuer Benchmark für robuste Multi-Hop-Raum-Schlussfolgerung in Texten

Zhengxiang Shi Qiang Zhang Aldo Lipani

Zusammenfassung

Die Ableitung räumlicher Beziehungen in natürlicher Sprache ist eine entscheidende Fähigkeit, die ein intelligentes System besitzen sollte. Der bAbI-Datensatz versucht, Aufgaben aus diesem Bereich abzubilden (Aufgabe 17 und 19). Diese Aufgaben weisen jedoch mehrere Einschränkungen auf. Vor allem sind sie auf feste Ausdrücke beschränkt, erfordern nur eine geringe Anzahl an Schlussfolgerungsschritten und testen die Robustheit von Modellen gegenüber Eingaben, die irrelevante oder redundante Informationen enthalten. In diesem Paper stellen wir einen neuen Frage-Antwort-Datensatz namens StepGame vor, der auf robuste mehrschrittige räumliche Schlussfolgerungen in Texten abzielt. Unsere Experimente zeigen, dass state-of-the-art-Modelle auf dem bAbI-Datensatz Schwierigkeiten mit dem StepGame-Datensatz haben. Darüber hinaus schlagen wir ein tensorproduktbasiertes, speichererweiterndes neuronales Netzwerk (TP-MANN) vor, das speziell für räumliche Schlussfolgerungsaufgaben konzipiert ist. Experimentelle Ergebnisse auf beiden Datensätzen belegen, dass unser Modell alle Baselines mit überlegener Generalisierungs- und Robustheitsleistung übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp