Die Erstellung von Katalogen radiogalaktischer Quellen aus next-generation tiefen Umfragen erfordert die automatisierte Identifikation assoziierter Komponenten ausgedehnter Quellen und ihrer entsprechenden Infrarot-Hosts. In dieser Arbeit stellen wir RadioGalaxyNET vor, ein multimodales Datensatz und eine Reihe neuer Computer Vision-Algorithmen, die entwickelt wurden, um die automatische Detektion und Lokalisierung von mehrkomponentigen ausgedehnten Radiogalaxien und ihren entsprechenden Infrarot-Hosts zu ermöglichen. Der Datensatz umfasst 4.155 Instanzen von Galaxien in 2.800 Bildern mit sowohl Radiokanälen als auch Infrarotkanälen. Jede Instanz bietet Informationen über die Klasse des ausgedehnten Radiogalaxiens, dessen entsprechendes Begrenzungsrahmen (Bounding Box), der alle Komponenten umschließt, das Segmentierungsmask auf Pixelbasis und die Keypoint-Position seines entsprechenden Infrarot-Hostgalaxiens. RadioGalaxyNET ist der erste Datensatz, der Bilder vom hochsensiblen australischen Square Kilometre Array Pathfinder (ASKAP)-Radioteleskop, den entsprechenden Infrarotbildern und instanzbasierten Annotationen für die Galaxien-Detektion enthält. Wir evaluieren mehrere Objektdetektionsalgorithmen anhand dieses Datensatzes und schlagen einen neuen multimodalen Ansatz vor, um gleichzeitig Radiogalaxien und die Positionen ihrer Infrarothosts zu detektieren.