Differenzierbares Schlussfolgern auf großen Wissensbasen und natürlicher Sprache

Die Schlussfolgerung mit Wissen, das in natürlicher Sprache und Wissensbasen (KBs) ausgedrückt ist, stellt eine zentrale Herausforderung für die künstliche Intelligenz dar und hat Anwendungen in der maschinellen Textverarbeitung, Dialogsystemen und Fragebeantwortung. Allgemeine neuronale Architekturen, die gleichzeitig Darstellungen und Transformationen von Text lernen, sind äußerst datenun-effizient, und ihre Schlussfolgerungsprozesse sind schwer zu analysieren. Diese Probleme werden durch end-to-end differenzierbare Schlussfolgerungssysteme wie Neural Theorem Provers (NTPs) adressiert, obwohl diese nur mit kleinskaligen symbolischen KBs verwendet werden können. In diesem Paper stellen wir zunächst Greedy NTPs (GNTPs) vor, eine Erweiterung von NTPs, die deren Komplexitäts- und Skalierbarkeitsbeschränkungen überwindet und sie somit für reale Datensätze nutzbar macht. Dies wird erreicht, indem während der Inferenz dynamisch der Berechnungsgraph von NTPs aufgebaut und lediglich die vielversprechendsten Beweispfade berücksichtigt werden, wodurch Modelle um Größenordnungen effizienter werden. Anschließend präsentieren wir einen neuartigen Ansatz zur gemeinsamen Schlussfolgerung über KBs und textuelle Erwähnungen, indem logische Fakten und natürlichsprachliche Sätze in einem gemeinsamen Einbettungsraum verankert werden. Wir zeigen, dass GNTPs die Leistung von NTPs bei einem Bruchteil der Kosten erreichen und gleichzeitig auf großen Datensätzen konkurrenzfähige Ergebnisse bei der Link-Vorhersage erzielen, dabei Vorhersagen erklären und interpretierbare Modelle induzieren. Quellcode, Datensätze und ergänzende Materialien sind online unter https://github.com/uclnlp/gntp verfügbar.