HyperAIHyperAI

Command Palette

Search for a command to run...

OccDepth : une méthode consciente de la profondeur pour la complétion sémantique 3D des scènes

Ruihang Miao Weizhou Liu Mingrui Chen Zheng Gong Weixin Xu Chen Hu Shuchang Zhou

Résumé

La Complétion Sémantique 3D de Scènes (SSC, 3D Semantic Scene Completion) peut fournir des représentations géométriques denses et sémantiques de la scène, qui trouvent des applications dans les systèmes de conduite autonome et les robots. Il est particulièrement difficile d’estimer la géométrie complète et les informations sémantiques d’une scène à partir uniquement d’images visuelles, et une information de profondeur précise est cruciale pour restaurer la structure géométrique 3D. Dans cet article, nous proposons la première méthode de SSC stéréo, nommée OccDepth, qui exploite pleinement les informations implicites de profondeur issues d’images stéréo (ou d’images RGBD) afin d’aider à la reconstruction des structures géométriques 3D. Le module de fusion de caractéristiques douces stéréo (Stereo-SFA) est introduit pour mieux fusionner les caractéristiques 3D sensibles à la profondeur en apprenant implicitement la corrélation entre les images stéréo. En particulier, lorsque les entrées sont des images RGBD, des images stéréo virtuelles peuvent être générées à partir de l’image RGB originale et de la carte de profondeur. Par ailleurs, le module Occupancy Aware Depth (OAD) permet d’obtenir des caractéristiques 3D sensibles à la géométrie grâce à une distillation de connaissances utilisant des modèles de profondeur pré-entraînés. En outre, nous proposons une version révisée du benchmark TartanAir, nommée SemanticTartanAir, afin de tester plus efficacement notre méthode OccDepth sur la tâche de SSC. Comparée à la méthode de SSC actuellement la plus avancée basée sur des images RGB, des expériences étendues sur le jeu de données SemanticKITTI montrent que notre méthode OccDepth atteint des performances supérieures, avec une amélioration de +4,82 % en mIoU, dont +2,49 % proviennent des images stéréo et +2,33 % de notre méthode proposée sensibles à la profondeur. Le code source et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/megvii-research/OccDepth.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
OccDepth : une méthode consciente de la profondeur pour la complétion sémantique 3D des scènes | Articles | HyperAI