Lernen optimaler Kombinationsmuster für lightweight Stereo-Bild-Super-Resolution

Stereo-Bild-Super-Resolution (stereoSR) zielt darauf ab, die Qualität der Super-Resolution durch Nutzung von Hilfsinformationen aus einer zusätzlichen Perspektive zu verbessern. Die meisten Ansätze konzentrieren sich auf die Verfeinerung der Modularchitektur und die Stapelung großer Netzwerkblöcke zur Extraktion und Integration von Informationen. Obwohl es Fortschritte gegeben hat, steigen auch die Speicher- und Rechenkosten kontinuierlich an. Um dieses Problem anzugehen, schlagen wir eine Gitterstruktur vor, die autonom die optimalen Kombinationsmuster von Netzwerkblöcken lernt. Dadurch ermöglicht sie eine effiziente und präzise Gewinnung von Merkmalsdarstellungen und erreicht letztendlich eine leichtgewichtige stereoSR. Konkret lassen wir uns von der Gitterphasen-Kompensator-Struktur inspirieren und entwickeln den Gitter-stereo-NAFBlock (LSNB), um Paare von NAFBlöcken über einen adaptiven Gewichtsblock (RWBlock) mittels einer gekoppelten Butterfly-artigen Topologie zu verbinden. Der RWBlock verleiht dem LSNB die Fähigkeit, verschiedene Kombinationsmuster von Paaren von NAFBlöcken durch adaptive Neugewichtung der Merkmale zu erkunden. Darüber hinaus schlagen wir einen Gitter-stereo-Attention-Modul (LSAM) vor, um die relevantesten Merkmale aus der anderen Perspektive zu suchen und zu übertragen. Die resultierende eng verzahnte Architektur, benannt als LSSR, zeigt in umfangreichen Experimenten, dass unsere Methode dem Stand der Technik wettbewerbsfähig ist.