Segmentation sémantique RGB-D efficace pour l'analyse de scènes intérieures

L’analyse approfondie des scènes est essentielle pour les robots mobiles opérant dans des environnements variés. La segmentation sémantique peut améliorer diverses tâches ultérieures, telles que la perception des personnes (assistance sémantique), la détection de l’espace libre (sémantique), la cartographie (sémantique) et la navigation (sémantique). Dans cet article, nous proposons une approche efficace et robuste de segmentation RGB-D qui peut être fortement optimisée grâce à NVIDIA TensorRT, et qui s’avère donc particulièrement adaptée comme étape initiale commune dans un système complexe d’analyse de scènes pour robots mobiles. Nous démontrons que la segmentation RGB-D surpasse la traitement des images RGB seules, et qu’elle peut toutefois être réalisée en temps réel si l’architecture du réseau est soigneusement conçue. Nous évaluons notre réseau proposé, le Efficient Scene Analysis Network (ESANet), sur les jeux de données intérieurs courants NYUv2 et SUNRGB-D, et montrons qu’il atteint des performances de pointe tout en permettant une inférence plus rapide. En outre, notre évaluation sur le jeu de données extérieur Cityscapes indique que notre approche est également adaptée à d’autres domaines d’application. Enfin, au-delà de la présentation de résultats de benchmark, nous fournissons également des résultats qualitatifs dans un scénario d’application intérieure.