La segmentation d’image par référence vise à segmenter les masques du premier plan des entités correspondant bien à la description fournie dans une expression en langage naturel. Les approches précédentes abordent ce problème en utilisant une interaction et une fusion implicites entre les modalités visuelles et linguistiques, mais elles échouent généralement à exploiter efficacement les mots informatifs de l’expression afin d’aligner précisément les caractéristiques issues des deux modalités pour identifier correctement l’entité référencée. Dans cet article, nous proposons un module de compréhension progressive multimodale (CMPC) et un module d’échange de caractéristiques guidé par le texte (TGFE), afin de traiter efficacement cette tâche exigeante. Plus précisément, le module CMPC utilise d’abord les mots d’entité et d’attribut pour percevoir toutes les entités pertinentes susceptibles d’être prises en compte par l’expression. Ensuite, les mots relationnels sont exploités pour mettre en évidence l’entité correcte tout en supprimant les autres entités non pertinentes grâce à un raisonnement graphique multimodal. En complément du module CMPC, nous introduisons également un module TGFE simple mais efficace, qui intègre les caractéristiques multimodales raisonnées à différents niveaux sous la guidance de l’information textuelle. Ainsi, les caractéristiques issues de niveaux multiples peuvent communiquer entre elles et être affinées en fonction du contexte textuel. Nous menons des expériences approfondies sur quatre benchmarks populaires de segmentation par référence et obtenons de nouveaux résultats de pointe.