Réseau de neurones convolutif sensible à la profondeur pour la segmentation RGB-D

Les réseaux de neurones convolutifs (CNN) sont limités par leur incapacité à traiter les informations géométriques en raison de la structure de noyau sur grille fixe. La disponibilité des données de profondeur permet des progrès dans le domaine de la segmentation sémantique RGB-D avec les CNN. Les méthodes les plus avancées utilisent soit la profondeur comme images supplémentaires, soit traitent les informations spatiales dans des volumes 3D ou des nuages de points. Ces méthodes souffrent d'un coût élevé en termes de calcul et de mémoire. Pour remédier à ces problèmes, nous présentons un CNN sensible à la profondeur en introduisant deux opérations intuitives, flexibles et efficaces : la convolution sensible à la profondeur et le regroupement moyen sensible à la profondeur (depth-aware average pooling). En exploitant la similarité de profondeur entre les pixels lors du processus de propagation d'information, la géométrie est intégrée sans heurt au CNN. Sans ajouter aucun paramètre supplémentaire, ces deux opérateurs peuvent être facilement intégrés aux CNN existants. De nombreuses expériences et études d'ablation sur des benchmarks difficiles de segmentation sémantique RGB-D valident l'efficacité et la flexibilité de notre approche.