Dans cet article, nous proposons des réseaux neuronaux convolutifs multimodaux (m-CNN) pour l'appariement d'images et de phrases. Notre m-CNN fournit un cadre de bout en bout avec des architectures convolutives pour exploiter la représentation d'images, la composition de mots et les relations d'appariement entre les deux modalités. Plus précisément, il se compose d'un CNN d'image encodant le contenu visuel et d'un CNN d'appariement apprenant la représentation conjointe de l'image et de la phrase. Le CNN d'appariement compose les mots en différents fragments sémantiques et apprend les relations inter-modales entre l'image et ces fragments composés à différents niveaux, permettant ainsi une exploitation complète des relations d'appariement entre l'image et la phrase. Les résultats expérimentaux sur des bases de données de référence pour la recherche bidirectionnelle d'images et de phrases montrent que les m-CNN proposés peuvent effectivement capturer les informations nécessaires à l'appariement d'images et de phrases. Plus particulièrement, nos m-CNN proposés pour la recherche bidirectionnelle d'images et de phrases sur les bases de données Flickr30K et Microsoft COCO atteignent des performances au niveau de l'état de l'art.