Command Palette
Search for a command to run...
Réseaux d'Attention Compositionnelle pour le Raisonnement Machine
Réseaux d'Attention Compositionnelle pour le Raisonnement Machine
Drew A. Hudson; Christopher D. Manning
Résumé
Nous présentons le réseau MAC, une nouvelle architecture de réseau neuronal entièrement différentiable, conçue pour faciliter un raisonnement explicite et expressif. Le réseau MAC s'éloigne des architectures neuronales monolithiques et opaques vers un design qui encourage à la fois la transparence et la polyvalence. Le modèle aborde les problèmes en les décomposant en une série d'étapes de raisonnement basées sur l'attention, chacune étant réalisée par une cellule récurrente innovante de Mémoire, Attention et Composition (MAC) qui maintient une séparation entre le contrôle et la mémoire. En reliant ces cellules ensemble et en imposant des contraintes structurelles qui régulent leur interaction, le réseau MAC apprend efficacement à effectuer des processus de raisonnement itératifs directement inférés des données dans une approche bout-à-bout. Nous démontrons la force, la robustesse et l'interprétabilité du modèle sur l'ensemble de données CLEVR pour le raisonnement visuel, atteignant un nouveau niveau d'excellence avec une précision de 98,9 %, réduisant ainsi le taux d'erreur du meilleur modèle précédent de moitié. Plus important encore, nous montrons que le modèle est économiquement rentable en termes de calcul et de données, nécessitant notamment 5 fois moins de données que les modèles existants pour obtenir des résultats solides.