Réseau efficace de complétion sémantique de scène avec convolution de groupe spatial

Nous présentons la Spatial Group Convolution (SGC) pour accélérer le calcul des tâches de prédiction dense 3D. La SGC est orthogonale à la convolution de groupe, qui opère sur les dimensions spatiales plutôt que sur la dimension des canaux de caractéristiques. Elle divise les voxels d'entrée en différents groupes, puis effectue une convolution 3D parcimonieuse sur ces groupes séparés. Comme seuls les voxels valides sont pris en compte lors de l'exécution de la convolution, le calcul peut être considérablement réduit avec une légère perte de précision. Les opérations proposées sont validées sur la tâche de complétion sémantique de scène, qui vise à prédire un volume 3D complet avec des étiquettes sémantiques à partir d'une seule image de profondeur. Avec la SGC, nous présentons également un réseau convolutif 3D parcimonieux efficace, qui utilise une architecture multirésolution et une stratégie de prédiction du grossier au fin. Les évaluations sont réalisées sur le jeu de données SUNCG, atteignant des performances d'état de l'art et une grande rapidité. Le code est disponible à l'adresse suivante : https://github.com/zjhthu/SGC-Release.git