Lernen von Parallaxenaufmerksamkeit für die Super-Resolution von Stereo-Bildern

Stereo-Bildpaare können verwendet werden, um die Leistungsfähigkeit von Super-Resolution (SR) zu verbessern, da zusätzliche Informationen aus einer zweiten Perspektive bereitgestellt werden. Allerdings ist es herausfordernd, diese Informationen für die SR zu integrieren, da die Disparitäten zwischen Stereo-Bildern erheblich variieren. In dieser Arbeit schlagen wir ein Parallax-Attention Stereo-Super-Resolution Netzwerk (PASSRnet) vor, um die Informationen aus einem Stereo-Bildpaar für die SR zu vereinen. Insbesondere führen wir einen Parallax-Attention Mechanismus mit einem globalen Rezeptivfeld entlang der Epipolarenlinie ein, um verschiedene Stereo-Bilder mit großen Disparitätsunterschieden zu verarbeiten. Wir stellen außerdem einen neuen und größten Datensatz für Stereo-Bild-SR vor (nämlich Flickr1024). Umfangreiche Experimente zeigen, dass der Parallax-Attention Mechanismus Korrespondenzen zwischen Stereo-Bildern erfassen kann, um die SR-Leistung bei geringem Rechenaufwand und Speicherbedarf zu verbessern. Vergleichende Ergebnisse belegen, dass unser PASSRnet den aktuellen Stand der Technik auf den Datensätzen Middlebury, KITTI 2012 und KITTI 2015 erreicht.