Apprentissage par transfert semi-supervisé pour l'élimination de la pluie dans les images

L'élimination de la pluie sur une seule image est un problème inverse typique en vision par ordinateur. La technique d'apprentissage profond a été validée comme étant efficace pour cette tâche et a atteint des performances de pointe. Cependant, les méthodes d'apprentissage profond précédentes nécessitent de pré-collecter un grand nombre de paires d'images avec/sans pluie synthétisée pour l'entraînement, ce qui tend à faire que le réseau neuronal soit biaisé vers l'apprentissage des modèles spécifiques de la pluie synthétisée, tout en étant moins capable de généraliser aux échantillons de test réels dont les types de pluie diffèrent de ceux des données d'entraînement. Pour résoudre ce problème, cet article propose en premier lieu un paradigme d'apprentissage semi-supervisé pour cette tâche. Contrairement aux méthodes traditionnelles d'apprentissage profond qui n'utilisent que des paires d'images supervisées avec/sans pluie synthétisée, nous intégrons également des images réelles de pluie, sans avoir besoin de leurs versions propres, dans le processus d'entraînement du réseau. Ceci est réalisé en formulant soigneusement le résidu entre une image d'entrée sous la pluie et sa sortie attendue du réseau (image claire sans pluie) comme une distribution spécifique de traînées de pluie paramétrée. Le réseau est donc entraîné à s'adapter aux divers types de pluie réelle non supervisée en transférant les connaissances acquises à partir des données supervisées avec pluie synthétisée, permettant ainsi une atténuation évidente des problèmes liés au manque d'échantillons d'entraînement et au biais vers les échantillons supervisés. Les expériences menées sur des données synthétiques et réelles confirment la supériorité de notre modèle par rapport aux états de l'art actuels.