Segmentation d'instances sensible à la géométrie à l'aide de cartes de disparité

La plupart des travaux antérieurs sur la segmentation d'instances en extérieur à partir d'images ne s'appuient que sur les informations colorimétriques. Nous explorons une nouvelle voie fondée sur la fusion de capteurs, en exploitant des caméras stéréo. Les informations géométriques issues des disparités permettent de séparer des objets superposés appartenant à la même ou à des classes différentes. En outre, ces informations géométriques pénalisent les propositions de régions présentant des formes 3D peu crédibles, réduisant ainsi les détections erronées. La régression de masques repose sur des régions d'intérêt (ROI) en 2D, 2,5D et 3D, utilisant à la fois des représentations pseudo-LiDAR et basées sur l'image. Ces prédictions de masques sont ensuite fusionnées par un processus d'évaluation des masques. Toutefois, les jeux de données publics ne mettent en œuvre que des systèmes stéréo à courte base et courte distance focale, ce qui limite les plages de mesure des caméras stéréo. Nous avons recueilli et exploité le jeu de données High-Quality Driving Stereo (HQDS), caractérisé par une base beaucoup plus longue, une distance focale plus grande et une résolution supérieure. Nos résultats atteignent l'état de l'art. Veuillez consulter notre page de projet. Le papier complet est disponible ici.