Feedback-Netzwerk für gegenseitig verstärkte Stereo-Bild-Super-Resolution und Disparitätsschätzung

Unter stereoskopischen Einstellungen sind das Problem der Bildsuperresolution (SR) und die Schätzungen der Disparität miteinander verwoben, so dass das Ergebnis eines Problems helfen kann, das andere zu lösen. Die effektive Nutzung der Korrespondenz zwischen verschiedenen Ansichten fördert die SR-Leistung, während die hochauflösenden (HR) Merkmale mit reicheren Details die Korrespondenzschätzung verbessern. Ausgehend von dieser Motivation schlagen wir ein Feedbacknetzwerk für Stereo-Superresolution und Disparitätsschätzung (SSRDE-FNet) vor, das sowohl die stereoskopische Bildsuperresolution als auch die Disparitätsschätzung in einem einheitlichen Framework gleichzeitig behandelt und sie gegenseitig interagieren lässt, um ihre Leistung weiter zu verbessern. Insbesondere besteht das SSRDE-FNet aus zwei dualen rekursiven Teilnetzen für linke und rechte Ansichten. Neben der Nutzung von Querverbindungen in den niedrig auflösenden (LR) Bereichen werden durch den SR-Prozess erzeugte HR-Darstellungen verwendet, um eine HR-Disparitätsschätzung mit höherer Genauigkeit durchzuführen, wodurch HR-Merkmale aggregiert werden können, um ein feineres SR-Ergebnis zu generieren. Anschließend liefert der vorgeschlagene Mechanismus zur Rückmeldung von HR-Disparitätsinformationen (HRDIF) Informationen, die durch HR-Disparität getragen werden, zurück zu früheren Schichten, um die SR-Bildrekonstruktion weiter zu verfeinern. Umfangreiche Experimente belegen die Effektivität und den Fortschritt des SSRDE-FNet.