HyperAIHyperAI

Command Palette

Search for a command to run...

OmniFusion : estimation de profondeur monoscopique 360 par fusion consciente de la géométrie

Yuyan Li Yuliang Guo Zhixin Yan Xinyu Huang Ye Duan Liu Ren

Résumé

Un défi bien connu dans l'application des méthodes d'apprentissage profond aux images omnidirectionnelles réside dans la distorsion sphérique. Dans les tâches de régression dense telles que l'estimation de profondeur, où des détails structurels sont essentiels, l'utilisation d'une couche CNN classique sur une image 360° déformée entraîne une perte d'information indésirable. Dans cet article, nous proposons une pipeline d'estimation de profondeur monocabulaire 360°, appelée OmniFusion, afin de traiter ce problème de distorsion sphérique. Notre pipeline transforme une image 360° en morceaux de perspective moins distordus (c’est-à-dire des images tangentielles), permettant d’obtenir des prédictions par morceaux via un CNN, puis fusionne ces résultats par morceaux pour produire la sortie finale. Pour gérer le désaccord entre les prédictions par morceaux, qui constitue un problème majeur affectant la qualité de la fusion, nous proposons un nouveau cadre comportant les composants clés suivants. Premièrement, nous introduisons un mécanisme de fusion de caractéristiques conscientes de la géométrie, qui combine des caractéristiques géométriques 3D avec des caractéristiques d’image 2D afin de compenser le désaccord entre les morceaux. Deuxièmement, nous utilisons une architecture transformer basée sur l’attention auto-attention pour réaliser une agrégation globale des informations par morceaux, ce qui améliore davantage la cohérence. Enfin, nous introduisons un mécanisme itératif de raffinement de la profondeur, permettant de raffiner davantage l’estimation de profondeur à partir de caractéristiques géométriques plus précises. Les expériences montrent que notre méthode atténue considérablement le problème de distorsion et atteint des performances de pointe sur plusieurs jeux de données de référence d’estimation de profondeur monocabulaire 360°.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp