AsymFormer : Apprentissage de représentations asymétriques inter-modales pour la segmentation sémantique RGB-D en temps réel sur plateforme mobile

La compréhension des scènes intérieures est cruciale pour les études urbaines. Étant donné la nature dynamique des environnements intérieurs, une segmentation sémantique efficace nécessite à la fois une opération en temps réel et une haute précision. Pour répondre à ce défi, nous proposons AsymFormer, un réseau novateur qui améliore la précision de la segmentation sémantique en temps réel en utilisant des informations multimodales RGB-D sans augmenter considérablement la complexité du réseau. AsymFormer utilise un tronc commun asymétrique pour l'extraction de caractéristiques multimodales, réduisant les paramètres redondants en optimisant la distribution des ressources informatiques. Pour fusionner les caractéristiques multimodales asymétriques, un module de Sélection de Caractéristiques Guidée par l'Attention Locale (LAFS) est utilisé pour fusionner sélectivement les caractéristiques provenant de différents modes en exploitant leurs dépendances. Ensuite, un module d'Embedding de Corrélation de Caractéristiques Guidée par l'Attention Croisée-Modale (CMA) est introduit pour extraire davantage des représentations croisée-modale. AsymFormer montre des résultats compétitifs avec un mIoU de 54,1 % sur NYUv2 et un mIoU de 49,1 % sur SUNRGBD. Il convient de noter qu'AsymFormer atteint une vitesse d'inférence de 65 FPS (79 FPS après l'implémentation de la quantification à précision mixte) sur RTX3090, démontrant ainsi que AsymFormer peut trouver un équilibre entre haute précision et efficacité.