NeSyCoCo : Un compositeur conceptuel neuro-symbolique pour la généralisation compositionnelle

La généralisation compositionnelle est essentielle pour les agents d’intelligence artificielle afin de résoudre des tâches complexes de raisonnement vision-langage. Les approches neuro-symboliques ont montré un grand potentiel pour capturer des structures compositionnelles, mais elles font face à des défis critiques : (a) une dépendance vis-à-vis de prédicats prédéfinis pour les représentations symboliques, ce qui limite leur adaptabilité ; (b) des difficultés à extraire ces prédicats à partir de données brutes ; et (c) l’utilisation d’opérations non différentiables pour combiner des concepts élémentaires. Pour surmonter ces limitations, nous proposons NeSyCoCo, un cadre neuro-symbolique qui exploite les grands modèles linguistiques (LLM) pour générer des représentations symboliques et les mapper vers des calculs neuronaux différentiables. NeSyCoCo introduit trois innovations : (a) l’enrichissement des entrées en langage naturel par des structures de dépendance afin d’améliorer l’alignement avec les représentations symboliques ; (b) l’utilisation de représentations distribuées des mots pour relier des prédicats logiques divers et motivés linguistiquement à des modules neuronaux ; et (c) l’emploi d’une composition douce (soft composition) basée sur des scores normalisés de prédicats pour aligner le raisonnement symbolique et le raisonnement différentiable. Notre cadre atteint des résultats de pointe sur les benchmarks de généralisation compositionnelle ReaSCAN et CLEVR-CoGenT, et démontre une performance robuste face à des concepts nouveaux dans le benchmark CLEVR-SYN.