OmniFusion : estimation de profondeur monoscopique 360 par fusion consciente de la géométrie

Un défi bien connu dans l'application des méthodes d'apprentissage profond aux images omnidirectionnelles réside dans la distorsion sphérique. Dans les tâches de régression dense telles que l'estimation de profondeur, où des détails structurels sont essentiels, l'utilisation d'une couche CNN classique sur une image 360° déformée entraîne une perte d'information indésirable. Dans cet article, nous proposons une pipeline d'estimation de profondeur monocabulaire 360°, appelée OmniFusion, afin de traiter ce problème de distorsion sphérique. Notre pipeline transforme une image 360° en morceaux de perspective moins distordus (c’est-à-dire des images tangentielles), permettant d’obtenir des prédictions par morceaux via un CNN, puis fusionne ces résultats par morceaux pour produire la sortie finale. Pour gérer le désaccord entre les prédictions par morceaux, qui constitue un problème majeur affectant la qualité de la fusion, nous proposons un nouveau cadre comportant les composants clés suivants. Premièrement, nous introduisons un mécanisme de fusion de caractéristiques conscientes de la géométrie, qui combine des caractéristiques géométriques 3D avec des caractéristiques d’image 2D afin de compenser le désaccord entre les morceaux. Deuxièmement, nous utilisons une architecture transformer basée sur l’attention auto-attention pour réaliser une agrégation globale des informations par morceaux, ce qui améliore davantage la cohérence. Enfin, nous introduisons un mécanisme itératif de raffinement de la profondeur, permettant de raffiner davantage l’estimation de profondeur à partir de caractéristiques géométriques plus précises. Les expériences montrent que notre méthode atténue considérablement le problème de distorsion et atteint des performances de pointe sur plusieurs jeux de données de référence d’estimation de profondeur monocabulaire 360°.