Denken Sie vor dem Simulieren: Symbolische Reasoning zur Orchestrierung neuronaler Berechnung für gegenfaktische Fragebeantwortung

Die kausale und zeitliche Schlussfolgerung über Videodynamiken stellt eine herausfordernde Aufgabe dar. Obwohl neuro-symbolische Modelle, die symbolische Schlussfolgerung mit neuronalen Wahrnehmungs- und Vorhersagemodulen kombinieren, vielversprechende Ergebnisse erzielt haben, weisen sie Einschränkungen auf, insbesondere bei der Beantwortung von kontrafaktischen Fragen. In diesem Paper stellen wir eine Methode vor, um ein neuro-symbolisches Modell zur kontrafaktischen Schlussfolgerung zu verbessern, indem wir symbolische Schlussfolgerung über kausale Beziehungen zwischen Ereignissen nutzen. Wir führen den Begriff eines kausalen Graphen ein, um solche Beziehungen darzustellen, und verwenden Answer Set Programming (ASP), eine deklarative Logikprogrammierungsmethode, um zu bestimmen, wie Wahrnehmungs- und Simulationsmodule koordiniert werden sollen. Wir validieren die Wirksamkeit unseres Ansatzes an zwei Benchmarks, CLEVRER und CRAFT. Unsere Verbesserung erreicht eine state-of-the-art-Leistung beim CLEVRER-Challenge und übertrifft signifikant bestehende Modelle. Im Fall des CRAFT-Benchmarks nutzen wir einen großen vortrainierten Sprachmodell, wie beispielsweise GPT-3.5 oder GPT-4, als Ersatz für einen Dynamik-Simulator. Unsere Ergebnisse zeigen, dass diese Methode die Leistung bei kontrafaktischen Fragen weiter verbessern kann, indem sie alternative Prompt-Vorgaben bereitstellt, die durch symbolische kausale Schlussfolgerung gesteuert werden.