Halbüberwachtes Transferlernen für die Regenentfernung aus Bildern

Die Regenentfernung aus einzelnen Bildern ist ein typisches inverses Problem im Bereich der Computer Vision. Die Technik des tiefen Lernens wurde als effektiv für diese Aufgabe bestätigt und erzielte standesübliche Leistungen. Allerdings benötigen frühere Methoden des tiefen Lernens eine vorherige Sammlung großer Mengen von Bildpaaren mit/schon synthetischem Regen zum Training, was dazu neigt, das neuronale Netzwerk zu veranlassen, sich auf die spezifischen Muster des synthetischen Regens zu konzentrieren und weniger gut auf reale Testbeispiele zu generalisieren, deren Regentypen sich von denen in den Trainingsdaten unterscheiden. Um dieses Problem anzugehen, schlägt dieser Artikel erstmals ein semisupervisiertes Lernparadigma für diese Aufgabe vor. Im Gegensatz zu traditionellen Methoden des tiefen Lernens, die nur überwachte Bildpaare mit/schon synthetischem Regen verwenden, integrieren wir auch reale regnerische Bilder in den Trainingsprozess, ohne dass ihre sauberen Entsprechungen erforderlich wären. Dies wird durch eine sorgfältig formulierte Residuumdarstellung zwischen einem eingehenden regnerischen Bild und dem erwarteten Netzwerkoutput (Bild ohne Regen) als spezifische parametrisierte Regenspurverteilung erreicht. Das Netzwerk wird daher trainiert, um durch den Transfer vom überwachten synthetischen Regen auf real unsupervisierte vielfältige Regentypen anzupassen, wodurch sowohl das Problem der mangelnden Trainingsbeispiele als auch das Bias-Problematik gegenüber überwachten Beispielen deutlich gemindert werden kann. Experimente anhand synthetischer und realer Daten bestätigen die Überlegenheit unseres Modells im Vergleich zu standesüblichen Ansätzen.