从下一代深度巡天中创建射电星系目录需要自动化识别扩展源的关联组分及其对应的红外宿主星系。本文介绍了RadioGalaxyNET，一个多模态数据集以及一系列新颖的计算机视觉算法，旨在自动化检测和定位多组分扩展射电星系及其对应的红外宿主星系。该数据集包含2,800张图像中的4,155个星系实例，这些图像同时具有射电和红外通道。每个实例提供了扩展射电星系类别的信息、涵盖所有组分的边界框、像素级分割掩模以及对应红外宿主星系的关键点位置。RadioGalaxyNET是首个包含来自高灵敏度澳大利亚平方公里阵列探路者（ASKAP）射电望远镜图像、相应红外图像及用于星系检测的实例级注释的数据集。我们在该数据集上对几种目标检测算法进行了基准测试，并提出了一种新的多模态方法，以同时检测射电星系和红外宿主的位置。