MemNet: Ein Netzwerk mit persistenter Speicherung für die Bildrestauration

Kürzlich haben sehr tiefe Faltungsneuronale Netze (CNNs) erhebliches Interesse im Bereich der Bildrestauration gefunden. Allerdings wird bei zunehmender Tiefe das Problem der langfristigen Abhängigkeiten selten für diese sehr tiefen Modelle wahrgenommen, was dazu führt, dass die vorherigen Zustände/Schichten nur geringen Einfluss auf die nachfolgenden haben. Inspiriert durch die Tatsache, dass menschliche Gedanken Persistenz aufweisen, schlagen wir ein sehr tiefes Netzwerk mit persistenter Speicherung (MemNet) vor, das einen Speicherblock einführt. Dieser besteht aus einer rekursiven Einheit und einer SchaltEinheit und dient dazu, durch einen adaptiven Lernprozess explizit persistente Erinnerungen zu erforschen. Die rekursive Einheit lernt mehrstufige Darstellungen des aktuellen Zustands unter verschiedenen Rezeptivfeldern. Diese Darstellungen und die Ausgaben der vorherigen Speicherblöcke werden zusammengefügt und an die SchaltEinheit weitergeleitet, die adaptiv steuert, wie viel der vorherigen Zustände beibehalten werden soll, und entscheidet, wie viel des aktuellen Zustands gespeichert werden sollte. Wir wenden MemNet auf drei Aufgaben der Bildrestauration an: Bildrauschenreduktion (image denoising), Super-Resolution und JPEG-Dekompression (JPEG deblocking). Umfassende Experimente zeigen die Notwendigkeit von MemNet sowie seine einstimmige Überlegenheit in allen drei Aufgaben im Vergleich zum Stand der Technik. Der Quellcode ist unter https://github.com/tyshiwo/MemNet verfügbar.