Apprentissage par abstraction : La machine d'état neurale

Nous présentons la Machine d'État Neurale, visant à combler le fossé entre les approches neuronales et symboliques de l'IA et à intégrer leurs forces complémentaires pour la tâche de raisonnement visuel. Étant donné une image, nous prédisons d'abord un graphe probabiliste qui représente ses sémantiques sous-jacentes et sert de modèle du monde structuré. Ensuite, nous effectuons un raisonnement séquentiel sur ce graphe, en parcourant itérativement ses nœuds pour répondre à une question donnée ou tirer une nouvelle inférence. Contrairement à la plupart des architectures neuronales conçues pour interagir étroitement avec les données sensorielles brutes, notre modèle opère dans un espace latent abstrait, en transformant tant les modalités visuelles que linguistiques en représentations basées sur des concepts sémantiques, ce qui permet d'atteindre une meilleure transparence et modularité. Nous évaluons notre modèle sur VQA-CP et GQA, deux jeux de données VQA récents impliquant la compositionnalité, l'inférence en plusieurs étapes et diverses compétences de raisonnement, obtenant des résultats de pointe dans les deux cas. Nous fournissons des expériences supplémentaires illustrant la forte capacité de généralisation du modèle sur plusieurs dimensions, y compris les compositions nouvelles de concepts (novel compositions of concepts), les changements dans la distribution des réponses (changes in the answer distribution) et les structures linguistiques inconnues (unseen linguistic structures), démontrant ainsi les qualités et l'efficacité de notre approche.