Leichtgewichtige Merkmalsfusionnetzwerk für die Super-Resolution von Einzelbildern

Die Single-Image-Super-Resolution (SISR) hat in den letzten Jahren große Fortschritte gemacht, insbesondere durch die Verwendung tiefer und breiterer Faltungsneuralnetze (CNNs). Allerdings behindern die enormen Parameterzahlen die Anwendung dieser Techniken auf reale Probleme. In diesem Brief schlagen wir ein leichtgewichtiges Feature-Fusion-Netzwerk (LFFN) vor, das in der Lage ist, mehrskalige kontextuelle Informationen vollständig zu nutzen und gleichzeitig die Netzwerkaparameter erheblich zu reduzieren, während es die SISR-Ergebnisse maximiert. Das LFFN basiert auf Spindelblöcken und einem Softmax-Feature-Fusion-Modul (SFFM). Insbesondere besteht ein Spindelblock aus einer Dimensionsausdehnungseinheit, einer Feature-Erkundungseinheit und einer Feature-Verfeinerungseinheit. Die Schicht zur Dimensionsausdehnung erweitert niedrigdimensionale Daten auf hochdimensionale und lernt implizit Featuremaps, die für die nächste Einheit geeignet sind. Die Feature-Erkundungseinheit führt lineare und nichtlineare Erkundungen von verschiedenen Featuremaps durch. Die Schicht zur Featureverfeinerung dient der Fusion und Verfeinerung der Features. Das SFFM fusioniert die Features aus verschiedenen Modulen auf eine selbstadaptive Weise mit Hilfe der Softmax-Funktion, wodurch es gelingt, hierarchische Informationen bei geringen Parameterkosten vollständig zu nutzen. Qualitative und quantitative Experimente an Standard-Datensätzen zeigen, dass das LFFN vergleichbare Parameterzahl unter Berücksichtigung des aktuellen Standes der Technik eine günstige Leistung erzielt.