Stéréo magnification avec des images multi-couches

La représentation des scènes à l’aide de plusieurs couches colorées semi-transparentes a longtemps constitué un choix populaire et efficace pour la synthèse de nouvelles vues en temps réel. Les approches existantes déduisent les couleurs et les valeurs de transparence à partir de couches régulièrement espacées, de forme plane ou sphérique. Dans ce travail, nous introduisons une nouvelle approche de synthèse de vue fondée sur des couches semi-transparentes multiples à géométrie adaptée à la scène. Notre méthode extrait ces représentations à partir de paires stéréo en deux étapes. La première étape déduit la géométrie d’un petit nombre de couches adaptées aux données à partir d’une paire de vues donnée. La deuxième étape estime les couleurs et les valeurs de transparence de ces couches, produisant ainsi la représentation finale destinée à la synthèse de nouvelles vues. L’important est que les deux étapes soient connectées via un rendu différentiable et soient entraînées de manière end-to-end. Dans nos expériences, nous démontrons l’avantage de l’approche proposée par rapport à l’utilisation de couches régulièrement espacées sans adaptation à la géométrie de la scène. Malgré une vitesse de rendu plusieurs ordres de grandeur supérieure, notre méthode surpasse également un système récemment proposé, IBRNet, basé sur une représentation implicite de la géométrie. Voir les résultats sur https://samsunglabs.github.io/StereoLayers.