InconSeg : Fusion guidée par résidu avec données multimodales incohérentes pour la segmentation des obstacles routiers négatifs et positifs

La segmentation des obstacles routiers, qu’ils soient négatifs ou positifs, est essentielle à la navigation sécurisée des véhicules autonomes. Les méthodes récentes ont suscité un intérêt croissant pour la fusion de données multimodales (par exemple, images RGB et images de profondeur/disparité). Bien que ces approches aient permis d’améliorer l’exactitude de la segmentation, nous constatons que leurs performances peuvent facilement se dégrader lorsque les deux modalités fournissent des informations incohérentes, par exemple dans le cas d’obstacles éloignés visibles sur les images RGB mais non détectables sur les images de profondeur/disparité. Pour remédier à ce problème, nous proposons un nouveau réseau multimodal RGB-profondeur/disparité à deux encodeurs et deux décodeurs, intégrant des modules de fusion guidée par résidus. Contrairement à la plupart des réseaux existants qui fusionnent les cartes de caractéristiques au niveau des encodeurs, notre approche effectue la fusion au niveau des décodeurs. Par ailleurs, nous mettons à disposition un grand jeu de données RGB-profondeur/disparité, enregistré dans des environnements urbains et ruraux, avec des vérités terrain manuellement annotées pour la segmentation des obstacles négatifs et positifs. Les résultats expérimentaux étendus démontrent que notre réseau atteint des performances de pointe par rapport aux autres architectures existantes.