BAAM : Reconstruction 3D de la posture et de la forme à partir d'une seule vue avec un module d'attention bi-contextuelle et une modélisation guidée par l'attention

La scène de trafic 3D comprend diverses informations 3D relatives aux objets automobiles, notamment leur pose et leur forme. Toutefois, la plupart des études récentes accordent une attention relativement moindre à la reconstruction de formes détaillées. En outre, la majorité d’entre elles traitent chaque objet 3D de manière indépendante, entraînant une perte de contexte relatif entre les objets ainsi que du contexte scénique reflétant les conditions de la route. Dans ce travail, nous proposons un nouvel algorithme monocular de reconstruction de la pose et de la forme 3D, fondé sur une attention bi-contextuelle et une modélisation guidée par l’attention (BAAM). Tout d’abord, à partir de primitives 2D, nous reconstruisons la forme 3D de l’objet en utilisant une modélisation guidée par l’attention, qui prend en compte la corrélation entre les objets détectés et les priorités de forme des véhicules. Ensuite, nous estimons la pose 3D de l’objet grâce à une attention bi-contextuelle, exploitant à la fois le contexte relationnel entre les objets et le contexte scénique entre un objet et son environnement routier. Enfin, nous proposons un algorithme de suppression non maximale 3D pour éliminer les objets fantômes, basé sur leur distance vue de dessus (Bird-Eye-View). Des expériences étendues démontrent que l’approche BAAM atteint des performances de pointe sur le jeu de données ApolloCar3D. De plus, ces expériences montrent que BAAM peut être intégré à tout détecteur monocular 3D mature sur KITTI, améliorant significativement ses performances.