Détection d'objets saillants RGB-D à l'aide de réseaux de neurones convolutionnels 3D

La détection d'objets saillants en RGB-D (SOD) a récemment suscité un intérêt croissant dans la recherche, et de nombreuses méthodes basées sur l'apprentissage profond et s'appuyant sur des architectures encodeur-décodeur ont émergé. Toutefois, la plupart des modèles existants de SOD RGB-D effectuent la fusion de caractéristiques soit dans l'étape de l'encodeur, soit dans celle du décodeur, ce qui ne garantit pas une fusion inter-modale suffisamment efficace. Dans cet article, nous proposons la première tentative d'aborder la SOD RGB-D à l'aide de réseaux neuronaux convolutifs 3D. Le modèle proposé, nommé RD3D, vise à réaliser une fusion préalable à l'étape de l'encodeur et une fusion approfondie à l'étape du décodeur, afin de favoriser efficacement l'intégration complète des flux RGB et profondeur. Plus précisément, RD3D effectue d'abord une fusion préalable entre les modalités RGB et profondeur à l'aide d'un encodeur 3D dilaté, puis assure une fusion de caractéristiques approfondie grâce à un décodeur 3D doté de nombreuses voies de rétroprojection (RBPP), exploitant ainsi la puissante capacité d'agrégation des convolutions 3D. Grâce à cette stratégie progressive de fusion, impliquant à la fois l'encodeur et le décodeur, une interaction efficace et complète entre les deux modalités peut être exploitée, ce qui améliore significativement la précision de détection. Des expériences étendues sur six jeux de données standard largement utilisés montrent que RD3D se distingue favorablement par rapport à 14 méthodes de pointe en SOD RGB-D selon quatre métriques d'évaluation clés. Le code source sera rendu publiquement disponible à l'adresse suivante : https://github.com/PPOLYpubki/RD3D.