Dans cet article, nous abordons la compréhension des expressions de référence : localiser une région d'une image décrite par une expression en langage naturel. Alors que la plupart des travaux récents traitent les expressions comme une unité unique, nous proposons de les décomposer en trois composants modulaires liés à l’apparence du sujet, à sa localisation, et à sa relation avec d’autres objets. Cette approche permet une adaptation flexible aux expressions contenant différents types d’informations, dans un cadre end-to-end. Notre modèle, que nous appelons le Réseau d’Attention Modulaire (MAttNet), utilise deux types d’attention : une attention basée sur le langage, qui apprend les poids des modules ainsi que les mots ou expressions sur lesquels chaque module doit se concentrer ; et une attention visuelle, qui permet aux modules associés au sujet et aux relations de se focaliser sur les composantes pertinentes de l’image. Les poids des modules combinent dynamiquement les scores provenant des trois modules pour produire un score global. Les expériences montrent que MAttNet surpasse largement les méthodes précédentes de l’état de l’art, tant sur les tâches de compréhension au niveau des boîtes englobantes (bounding-box) que sur celles au niveau des pixels. Une démonstration et le code source sont disponibles.