HoHoNet : Compréhension holistique de l'intérieur à 360° avec des caractéristiques latentes horizontales

Nous présentons HoHoNet, un cadre polyvalent et efficace pour une compréhension globale d'un panorama intérieur à 360 degrés en utilisant une Caractéristique Horizontale Latente (LHFeat). La caractéristique LHFeat compacte aplatie les caractéristiques le long de la direction verticale et a fait ses preuves dans la modélisation de la modalité par colonne pour la reconstruction du plan d'une pièce. HoHoNet progresse sur deux aspects importants. Premièrement, l'architecture profonde est redessinée pour fonctionner plus rapidement avec une précision améliorée. Deuxièmement, nous proposons un nouveau module horizon-dense qui relâche la contrainte de forme de sortie par colonne, permettant des prédictions denses par pixel à partir de LHFeat. HoHoNet est rapide : il fonctionne à 52 images par seconde (FPS) et 110 FPS avec les backbones ResNet-50 et ResNet-34 respectivement, pour modéliser des modalités denses à partir d'un panorama haute résolution de $512 \times 1024$. HoHoNet est également précis. Sur les tâches d'estimation du plan et de segmentation sémantique, HoHoNet obtient des résultats comparables aux meilleurs actuels. En ce qui concerne l'estimation de profondeur dense, HoHoNet surpasse largement toutes les méthodes précédentes.