Le Neuro-Symbolic Concept Learner : Interprétation de Scènes, de Mots et de Phrases à Partir d'une Supervision Naturelle

Nous proposons le Neuro-Symbolic Concept Learner (NS-CL), un modèle qui apprend des concepts visuels, des mots et l'analyse sémantique des phrases sans supervision explicite sur aucun d'eux ; au lieu de cela, notre modèle apprend simplement en regardant des images et en lisant des questions et réponses associées. Notre modèle construit une représentation de scène basée sur les objets et traduit les phrases en programmes symboliques exécutables. Pour relier l'apprentissage des deux modules, nous utilisons un module de raisonnement neuro-symbolique qui exécute ces programmes sur la représentation latente de la scène. De manière analogique à l'apprentissage conceptuel humain, le module de perception apprend des concepts visuels en se basant sur la description linguistique de l'objet auquel il fait référence. Parallèlement, les concepts visuels acquis facilitent l'apprentissage de nouveaux mots et l'analyse de nouvelles phrases. Nous utilisons un apprentissage par curriculum pour guider la recherche dans l'espace compositionnel important des images et du langage. Des expériences approfondies démontrent la précision et l'efficacité de notre modèle dans l'apprentissage des concepts visuels, des représentations lexicales et de l'analyse sémantique des phrases. De plus, notre méthode permet une généralisation facile à de nouveaux attributs d'objets, compositions, concepts linguistiques, scènes et questions, ainsi qu'à de nouveaux domaines programmatiques. Elle offre également la possibilité d'applications telles que la réponse aux questions visuelles et la recherche bidirectionnelle image-texte.