BiFuse++ : Fusion bi-projection auto-supervisée et efficace pour l’estimation de profondeur 360

Du fait de l'essor des caméras sphériques, l'estimation de profondeur monoscopique à 360 degrés est devenue une technique essentielle pour de nombreuses applications (par exemple, les systèmes autonomes). Ainsi, des cadres d'état de l'art pour l'estimation de profondeur monoscopique à 360 degrés, tels que la fusion par bi-projection dans BiFuse, ont été proposés. Pour entraîner un tel cadre, il est nécessaire de disposer d'un grand nombre de panoramas accompagnés de vérités terrain correspondantes capturées par des capteurs laser, ce qui augmente fortement le coût de collecte des données. De plus, comme cette procédure de collecte est chronophage, la scalabilité de ces méthodes pour des scènes différentes constitue un défi. À cet effet, l'entraînement auto-supervisé d'un réseau pour l'estimation de profondeur monoscopique à partir de vidéos 360 degrés apparaît comme une voie pour atténuer ce problème. Toutefois, aucun cadre existant ne combine la fusion par bi-projection dans un schéma d'entraînement auto-supervisé, ce qui limite fortement les performances de l'approche auto-supervisée, car la fusion par bi-projection permet d'exploiter efficacement les informations provenant de différents types de projection. Dans cet article, nous proposons BiFuse++, afin d'explorer l'association entre la fusion par bi-projection et le cadre d'entraînement auto-supervisé. Plus précisément, nous introduisons un nouveau module de fusion ainsi qu'une perte photométrique à sensibilité au contraste, visant à améliorer les performances de BiFuse et à renforcer la stabilité de l'entraînement auto-supervisé sur des vidéos du monde réel. Nous menons des expériences supervisées et auto-supervisées sur des jeux de données de référence, et obtenons des résultats de pointe.