Prédiction en avant pour le raisonnement physique

Le raisonnement physique repose sur la prédiction en avant : la capacité à anticiper ce qui va se produire ensuite à partir d’un état initial du monde. Nous étudions la performance des modèles de prédiction en avant les plus avancés dans des tâches complexes de raisonnement physique du benchmark PHYRE. Pour ce faire, nous intégrons des modèles opérant sur des représentations d’objets ou de pixels du monde dans des agents simples de raisonnement physique. Nous constatons que les modèles de prédiction en avant peuvent améliorer les performances de raisonnement physique, en particulier sur des tâches complexes impliquant de nombreux objets. Toutefois, nous observons également que ces améliorations dépendent fortement du fait que les tâches de test soient de petites variations des tâches d’entraînement, et que la généralisation à de nouveaux schémas de tâches reste difficile. De manière surprenante, nous constatons que les prédicteurs en avant offrant une meilleure précision au niveau des pixels ne conduisent pas nécessairement à de meilleures performances en raisonnement physique. Néanmoins, nos meilleurs modèles établissent une nouvelle référence en matière d’état de l’art sur le benchmark PHYRE.