Nuages de gradients orientés pour la détection 3D d'objets, de surfaces et de dispositions de scènes intérieures

Nous développons de nouvelles représentations et algorithmes pour la détection d'objets tridimensionnels (3D) et la prédiction de la disposition spatiale dans des scènes intérieures encombrées. Nous proposons d'abord un descripteur de nuages de gradients orientés (clouds of oriented gradient, COG) qui relie l'apparence bidimensionnelle (2D) et la posture tridimensionnelle des catégories d'objets, modélisant ainsi précisément comment la projection perspective affecte les gradients perçus dans l'image. Pour représenter plus efficacement les styles visuels 3D des grands objets et fournir des indices contextuels pour améliorer la détection des petits objets, nous introduisons des surfaces de support latentes. Nous proposons ensuite une représentation de « voxels Manhattan » qui capture mieux la géométrie de la disposition 3D des pièces dans les environnements intérieurs courants. Des règles de classification efficaces sont apprises au moyen d'un cadre de prédiction structurée latente. Les relations contextuelles entre les catégories et la disposition sont capturées par une cascade de classifieurs, conduisant à des hypothèses holistiques sur la scène qui surpassent l'état de l'art dans la base de données SUN RGB-D.