Indexnetzwerk

Wir zeigen, dass existierende Upsampling-Operatoren unter Verwendung des Konzepts der Indexfunktion vereint werden können. Diese Vorstellung ist durch eine Beobachtung im Decodierprozess von tiefen Bild-Matting-Verfahren inspiriert, bei denen indexgesteuertes Unpooling oft Randdetails erheblich besser wiederherstellen kann als andere Upsampling-Operatoren wie bilineare Interpolation. Indem wir die Indizes als Funktion der Merkmalskarte betrachten, führen wir das Konzept des „Lernens von Indizes“ ein und präsentieren einen neuen indexgesteuerten Encoder-Decoder-Framework, bei dem die Indizes aus den Daten selbstständig und anpassungsfähig gelernt werden und sowohl die Downsampling- als auch die Upsampling-Stufen steuern, ohne zusätzliche Trainingsüberwachung. Im Zentrum dieses Frameworks steht ein neues lernfähiges Modul, das Indexnetzwerk (Index Network) genannt wird, welches dynamisch Indizes basierend auf der Merkmalskarte selbst generiert. Das Indexnetzwerk kann als Plug-In in fast alle herkömmlichen Faltungsnetzwerke integriert werden, die gekoppelte Downsampling- und Upsampling-Stufen haben, wodurch den Netzwerken die Fähigkeit verliehen wird, Variationen lokaler Muster dynamisch zu erfassen. Insbesondere instantiieren und untersuchen wir fünf Klassen von Indexnetzwerken und demonstrieren ihre Effektivität an vier dichten Vorhersageaufgaben, einschließlich Bildrauschenreduktion (image denoising), Bild-Matting (image matting), semantischer Segmentierung (semantic segmentation) und monokularer Tiefenschätzung (monocular depth estimation). Der Quellcode und die Modelle sind unter folgender URL verfügbar: https://tinyurl.com/IndexNetV1