Lernen durch Abstraktion: Die neurale Zustandsmaschine

Wir stellen die Neural State Machine vor, mit dem Ziel, die Lücke zwischen den neuronalen und symbolischen Ansichten der KI zu schließen und ihre ergänzenden Stärken für die Aufgabe des visuellen Schließens zu integrieren. Gegeben ein Bild, prognostizieren wir zunächst einen wahrscheinlichkeitstheoretischen Graphen, der seine zugrunde liegende Semantik darstellt und als strukturiertes Weltmodell dient. Anschließend führen wir sequenzielles Schließen über den Graphen durch, indem wir seine Knoten iterativ durchlaufen, um eine gegebene Frage zu beantworten oder eine neue Schlussfolgerung zu ziehen. Im Gegensatz zu den meisten neuronalen Architekturen, die darauf ausgelegt sind, eng mit den rohen sensorischen Daten zu interagieren, operiert unser Modell stattdessen in einem abstrakten latente Raum. Dabei werden sowohl die visuelle als auch die linguistische Modalität in semantikbasierte Darstellungen transformiert, was eine erhöhte Transparenz und Modularität ermöglicht. Wir evaluieren unser Modell auf VQA-CP und GQA, zwei aktuellen VQA-Datensätzen, die Kompositionsalität, mehrstufiges Schließen und vielfältige Schlussfolgerungsfähigkeiten erfordern, wobei es in beiden Fällen Stand-der-Kunst-Ergebnisse erzielt. Zusätzlich führen wir weitere Experimente durch, die das starke Generalisierungsvermögen unseres Modells in verschiedenen Dimensionen veranschaulichen. Dazu gehören neuartige Konzeptkompositionen (novel compositions of concepts), Veränderungen in der Antwortverteilung (changes in the answer distribution) und unbekannte linguistische Strukturen (unseen linguistic structures). Diese Experimente demonstrieren die Qualität und Effektivität unserer Herangehensweise.