Suppression de réflexion à partir d'une seule image par raffinement en cascade

Nous abordons le problème de l’élimination des reflets indésirables à partir d’une seule image capturée à travers une surface vitrée, un problème mal posé, difficile mais d’une importance pratique significative pour l’amélioration des photographies. Inspirés par la réduction itérative de structure pour la détection de communautés cachées dans les réseaux sociaux, nous proposons un réseau itératif à convolution et LSTM (IBCLN, Iterative Boost Convolutional LSTM Network), permettant une prédiction en cascade pour la suppression des reflets. L’IBCLN est un réseau en cascade qui affine itérativement les estimations des couches de transmission et de réflexion de manière à ce qu’elles s’améliorent mutuellement, tout en transférant l’information entre les étapes de la cascade à l’aide d’un LSTM. L’intuition sous-jacente est que la couche de transmission représente une structure forte et dominante, tandis que la couche de réflexion correspond à une structure faible et cachée. Ces deux structures sont complémentaires dans une même image, de sorte qu’une estimation améliorée et une réduction plus précises d’une des deux couches à partir de l’image d’origine conduisent à une estimation plus exacte de l’autre. Pour faciliter l’entraînement sur plusieurs étapes de cascade, nous utilisons un LSTM afin de pallier le problème de disparition du gradient, et proposons une perte de reconstruction résiduelle comme guidance supplémentaire durant l’entraînement. En outre, nous avons constitué un jeu de données d’images du monde réel comprenant des reflets et des couches de transmission annotées (ground-truth), afin de remédier au manque de données. Des expériences approfondies démontrent que la méthode proposée permet une suppression efficace des reflets dans des images réelles et synthétiques, surpassant ainsi les méthodes d’état de l’art en matière de suppression de reflets.