HyperAIHyperAI

Command Palette

Search for a command to run...

Complétion de scène sémantique guidée sémantiquement en 2D

DaCheng Tao Liqiang Nie Rongrong Ji Hongxun Yao Shengping Zhang Haozhe Xie Xianzhu Liu

Résumé

La complétion sémantique de scène (SSC) vise à réaliser simultanément la complétion de scène (SC) et à prédire les catégories sémantiques d'une scène 3D à partir d'une seule image profonde et/ou RGB. La plupart des méthodes actuelles de SSC peinent à traiter les régions complexes comportant plusieurs objets proches les uns des autres, en particulier pour des objets aux surfaces réfléchissantes ou sombres. Cela provient principalement de deux défis : (1) la perte d'information géométrique due à la fiabilité insuffisante des valeurs de profondeur provenant des capteurs, et (2) le risque de confusion sémantique lors de la prédiction simultanée des formes 3D et des étiquettes sémantiques. Pour relever ces problèmes, nous proposons un cadre de complétion sémantique de scène guidé par la sémantique, appelé SG-SSC, comprenant deux composants principaux : une fusion guidée par la sémantique (SGF) et un prédicteur sémantique guidé par le volume (VGSP). Guidée par des cartes de segmentation sémantique 2D, la SGF fusionne de manière adaptative les caractéristiques RGB et profonde afin de compenser les informations géométriques manquantes dues aux valeurs manquantes dans les images de profondeur, permettant ainsi une meilleure robustesse face aux données de profondeur peu fiables. Le VGSP exploite les bénéfices mutuels entre les tâches de SC et SSC, en orientant SSC vers la prédiction des catégories des voxels présentant une haute probabilité d'occupation, tout en permettant à SC d'utiliser des prioris sémantiques pour prédire plus précisément l'occupation des voxels. Les résultats expérimentaux montrent que SG-SSC surpasse les méthodes les plus avancées existantes sur les jeux de données NYU, NYUCAD et SemanticKITTI. Les modèles et le code sont disponibles à l'adresse suivante : https://github.com/aipixel/SG-SSC.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp