NAFSSR: Stereo-Bild-Super-Resolution mit NAFNet

Die stereo-Bild-Super-Resolution (SR) zielt darauf ab, die Qualität der Super-Resolution-Ergebnisse durch die Nutzung der komplementären Informationen, die von binokularen Systemen bereitgestellt werden, zu verbessern. Um eine akzeptable Leistung zu erzielen, konzentrieren sich die meisten Methoden auf die feine Gestaltung von Modulen, Verlustfunktionen usw., um Informationen aus einer anderen Perspektive zu nutzen. Dies hat zur Folge, dass die Systemkomplexität erhöht wird, was es für Forscher schwierig macht, neue Ideen zu evaluieren und Methoden miteinander zu vergleichen. In dieser Arbeit wird ein leistungsstarker und einfacher Bildrestaurationsmodell, NAFNet, für die Extraktion von Einzelsichtmerkmalen übernommen und durch das Hinzufügen von Cross-Attention-Modulen zur Fusion von Merkmalen zwischen den Sichten erweitert, um binokulare Szenarien anzupassen. Das vorgeschlagene Baseline-Modell für stereo-Bild-Super-Resolution wird als NAFSSR bezeichnet. Darüber hinaus werden Trainings- und Teststrategien entwickelt, um die Leistungsfähigkeit von NAFSSR vollständig auszuschöpfen. Ausführliche Experimente belegen die Effektivität unserer Methode. Insbesondere übertreffen NAFSSR die Standesder-Forschungsmethoden auf den Datensätzen KITTI 2012, KITTI 2015, Middlebury und Flickr1024. Mit NAFSSR haben wir den ersten Platz im NTIRE 2022 Stereo Image Super-resolution Challenge gewonnen. Die Codes und Modelle werden unter https://github.com/megvii-research/NAFNet veröffentlicht.