Compression de caractéristiques bidirectionnelles complémentaires pour la segmentation sémantique intérieure à 360° avec auto-distillation

Récemment, les approches basées sur une représentation horizontale pour la segmentation sémantique panoramique ont surpassé les solutions fondées sur la projection, car les distorsions peuvent être efficacement éliminées en comprimant les données sphériques selon la direction verticale. Toutefois, ces méthodes négligent les informations a priori sur la distribution des distorsions et sont limitées par des champs réceptifs déséquilibrés, par exemple des champs réceptifs suffisants selon la direction verticale mais insuffisants selon la direction horizontale. À l’inverse, une compression verticale des représentations selon une autre direction peut fournir implicitement des informations a priori sur les distorsions tout en élargissant les champs réceptifs horizontaux. Dans cet article, nous combinons ces deux représentations différentes et proposons une nouvelle solution pour la segmentation sémantique à 360°, selon une perspective complémentaire. Notre réseau se compose de trois modules : un module d'extraction de caractéristiques, un module de compression bidirectionnelle et un module d'interprétation par ensemble. Tout d'abord, nous extrayons des caractéristiques à plusieurs échelles à partir d'une image panoramique. Ensuite, un module de compression bidirectionnelle est conçu pour comprimer ces caractéristiques en deux représentations à faible dimension complémentaires, offrant à la fois une perception du contenu et des informations a priori sur les distorsions. En outre, afin de faciliter la fusion des caractéristiques bidirectionnelles, nous proposons une stratégie originale de distillation auto-supervisée au sein du module d'interprétation par ensemble, visant à renforcer l'interaction entre les différentes caractéristiques et à améliorer davantage les performances. Les résultats expérimentaux montrent que notre approche dépasse les solutions de pointe avec une amélioration d'au moins 10 % sur les évaluations quantitatives, tout en offrant les meilleurs résultats en termes d'apparence visuelle.