Pix2Vox++ : Reconstruction 3D d'objets à contexte multi-échelle à partir d'images simples et multiples

La reconstruction de la forme 3D d’un objet à partir d’une ou plusieurs images à l’aide de réseaux neuronaux profonds a suscité un intérêt croissant au cours des dernières années. Les approches courantes (par exemple 3D-R2N2) utilisent des réseaux de neurones récurrents (RNN) pour fusionner séquentiellement les cartes de caractéristiques des images d’entrée. Toutefois, les méthodes basées sur les RNN ne parviennent pas à produire des résultats de reconstruction cohérents lorsqu’elles reçoivent les mêmes images d’entrée mais dans un ordre différent. En outre, les RNN peuvent oublier des caractéristiques importantes provenant des premières images d’entrée en raison de la perte de mémoire à long terme. Pour surmonter ces limitations, nous proposons un nouveau cadre pour la reconstruction 3D d’objets à vue unique et à vue multiple, nommé Pix2Vox++. Grâce à une architecture encodeur-décodeur soigneusement conçue, il génère à partir de chaque image d’entrée un volume 3D grossier. Un module de fusion à prise en compte du contexte multi-échelle est ensuite introduit afin de sélectionner de manière adaptative les reconstructions de haute qualité pour différentes régions à partir de tous les volumes 3D grossiers, afin d’obtenir un volume 3D fusionné. Pour corriger davantage les parties incorrectement reconstruites dans ce volume fusionné, un module de raffinement est employé pour produire la sortie finale. Les résultats expérimentaux sur les benchmarks ShapeNet, Pix3D et Things3D montrent que Pix2Vox++ se distingue favorablement par rapport aux méthodes de pointe en termes de précision et d’efficacité.