Compréhension holistique de scènes 3D à partir d'une seule image avec une représentation implicite

Nous présentons une nouvelle chaîne de traitement pour la compréhension holistique des scènes 3D à partir d’une seule image, capable de prédire les formes des objets, leurs poses 3D et la disposition globale de la scène. Étant donné que ce problème est fortement mal posé, les méthodes existantes souffrent souvent d’estimations inexactes à la fois des formes et de la disposition, en particulier dans les scènes encombrées où les occlusions entre objets sont importantes. Nous proposons d’utiliser la dernière représentation implicite profonde pour relever ce défi. Nous introduisons non seulement un réseau implicite structuré local basé sur l’image afin d’améliorer l’estimation de la forme des objets, mais aussi une nouvelle architecture de réseau neuronal à graphe implicite de scène pour affiner la pose 3D des objets et la disposition de la scène, en exploitant les caractéristiques implicites locales des objets. Un nouveau terme de perte basé sur des violations physiques est également proposé pour éviter des contextes incorrects entre objets. Des expériences étendues montrent que notre méthode surpasser les méthodes de pointe en matière d’estimation de la forme des objets, de la disposition de la scène et de la détection 3D d’objets.