HyperAIHyperAI

Command Palette

Search for a command to run...

GLPanoDepth : Estimation de profondeur panoramique globale à locale

Jiayang Bai Shuichang Lai Haoyu Qin Jie Guo Yanwen Guo

Résumé

Dans cet article, nous proposons une méthode fondée sur l’apprentissage pour prédire des valeurs de profondeur denses d’une scène à partir d’une image omnidirectionnelle monoscopique. Une image omnidirectionnelle possède un champ de vision complet, offrant une description bien plus complète de la scène que les images perspectives. Toutefois, les réseaux fully-convolutionnels utilisés par la plupart des solutions actuelles échouent à capturer des contextes globaux riches à partir de la panorama. Pour résoudre ce problème ainsi que la distorsion inhérente à la projection équirectangulaire dans la panorama, nous introduisons Cubemap Vision Transformers (CViT), une nouvelle architecture basée sur les transformateurs, capable de modéliser des dépendances à longue portée et d’extraire des caractéristiques globales dépourvues de distorsion à partir de la panorama. Nous démontrons que les transformateurs vision cubiques possèdent un champ réceptif global à chaque étape et permettent des prédictions globalement cohérentes pour les signaux sphériques. Afin de préserver les caractéristiques locales importantes, nous concevons par ailleurs une branche basée sur la convolution dans notre pipeline (nommée GLPanoDepth) et fusionnons les caractéristiques globales issues des transformateurs vision cubiques à plusieurs échelles. Cette stratégie globale-vers-locale nous permet d’exploiter pleinement les caractéristiques globales et locales utiles présentes dans la panorama, atteignant ainsi des performances de pointe dans l’estimation de la profondeur panoramique.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp