La création de catalogues de galaxies radio à partir des futures enquêtes profondes nécessite une identification automatisée des composants associés des sources étendues et de leurs hôtes infrarouges correspondants. Dans cet article, nous présentons RadioGalaxyNET, un jeu de données multimodal, ainsi qu'une série d'algorithmes novateurs en vision par ordinateur conçus pour automatiser la détection et la localisation des galaxies radio étendues multicompétentes et de leurs hôtes infrarouges correspondants. Ce jeu de données comprend 4 155 instances de galaxies dans 2 800 images comportant à la fois des canaux radio et infrarouges. Chaque instance fournit des informations sur la classe de galaxie radio étendue, sa boîte englobante correspondante couvrant tous les composants, le masque de segmentation au niveau pixel et la position du point clé de son hôte galactique infrarouge correspondant. RadioGalaxyNET est le premier jeu de données à inclure des images provenant du télescope radio très sensible Australian Square Kilometre Array Pathfinder (ASKAP), des images infrarouges correspondantes et des annotations au niveau instance pour la détection de galaxies. Nous évaluons plusieurs algorithmes de détection d'objets sur ce jeu de données et proposons une approche multimodale innovante permettant de détecter simultanément les galaxies radio et les positions des hôtes infrarouges.