Pensez avant de simuler : raisonnement symbolique pour orchestrer le calcul neuronal dans le cadre de la réponse à des questions contre-factuelles

Le raisonnement causal et temporel sur les dynamiques vidéo constitue un problème complexe. Bien que les modèles neuro-symboliques, qui combinent raisonnement symbolique et perception/prédiction basées sur les réseaux neuronaux, aient montré un potentiel prometteur, ils présentent des limites, notamment dans la réponse à des questions contre-factuelles. Ce papier introduit une méthode visant à améliorer un modèle neuro-symbolique pour le raisonnement contre-factuel, en exploitant un raisonnement symbolique fondé sur les relations causales entre événements. Nous définissons la notion de graphe causal pour représenter ces relations, et utilisons la Programmation par Ensembles de Réponses (ASP), une méthode de programmation logique déclarative, afin de déterminer comment coordonner les modules de perception et de simulation. Nous validons l’efficacité de notre approche sur deux benchmarks : CLEVRER et CRAFT. Notre amélioration atteint des performances de pointe sur le défi CLEVRER, surpassant significativement les modèles existants. Dans le cas du benchmark CRAFT, nous utilisons un grand modèle linguistique pré-entraîné, tel que GPT-3.5 ou GPT-4, comme substitut à un simulateur de dynamiques. Nos résultats montrent que cette méthode peut encore améliorer les performances sur les questions contre-factuelles en fournissant des invites alternatives guidées par un raisonnement causal symbolique.