WaterScenes : Un jeu de données multi-tâches en 4D basé sur la fusion radar-caméra et des benchmarks pour la conduite autonome sur les surfaces aquatiques

La conduite autonome sur les surfaces aquatiques joue un rôle essentiel dans l'exécution de missions dangereuses et chronophages, telles que la surveillance maritime, le secours de survivants, la surveillance environnementale, la cartographie hydrographique et le nettoyage des déchets. Ce travail présente WaterScenes, le premier ensemble de données multi-tâches en 4D fondé sur la fusion radar-caméra dédié à la conduite autonome sur les surfaces aquatiques. Équipé d’un radar 4D et d’une caméra monochromatique, notre véhicule surface non habité (USV) offre des solutions opérationnelles dans toutes les conditions météorologiques pour extraire des informations relatives aux objets, incluant la couleur, la forme, la texture, la distance, la vitesse, l’azimut et l’élévation. En se concentrant sur des objets typiques statiques et dynamiques présents sur les surfaces aquatiques, nous avons annoté les images de caméra au niveau pixel et les nuages de points radar au niveau point. Outre les tâches fondamentales de perception telles que la détection d’objets, la segmentation d’instances et la segmentation sémantique, nous fournissons également des annotations pour la segmentation de l’espace libre et la segmentation de la ligne d’eau. Grâce à ces données multi-tâches et multi-modales, nous menons des expériences de référence sur les modalités unimodales (radar et caméra séparément) ainsi que sur la fusion des modalités. Les résultats expérimentaux démontrent qu’une fusion radar-caméra 4D permet d’améliorer de manière significative la précision et la robustesse de la perception sur les surfaces aquatiques, en particulier dans des conditions d’éclairage ou météorologiques défavorables. L’ensemble de données WaterScenes est disponible au public à l’adresse suivante : https://waterscenes.github.io.