In jüngster Zeit haben sehr tiefe konvolutionelle neuronale Netze (CNNs) erhebliche Aufmerksamkeit im Bereich der Bildrekonstruktion erfahren. Allerdings wird das Problem der langfristigen Abhängigkeiten bei zunehmender Tiefe dieser Modelle selten berücksichtigt, wodurch der Einfluss früherer Zustände bzw. Schichten auf nachfolgende Schichten stark eingeschränkt ist. Ausgehend von der Beobachtung, dass menschliche Gedanken eine gewisse Persistenz aufweisen, schlagen wir ein sehr tiefes, gedächtnisbasiertes Netzwerk (MemNet) vor, das einen Memory-Block einführt, bestehend aus einer rekursiven Einheit und einer Gating-Einheit, um persistente Erinnerungen durch einen adaptiven Lernprozess explizit zu erfassen. Die rekursive Einheit lernt hierbei mehrstufige Darstellungen des aktuellen Zustands unter verschiedenen Empfindlichkeitsfeldern. Diese Darstellungen werden zusammen mit den Ausgaben der vorherigen Memory-Blöcke an die Gating-Einheit weitergeleitet, die adaptiv steuert, welcher Anteil der vorherigen Zustände beibehalten und welcher Anteil des aktuellen Zustands gespeichert werden soll. Wir wenden MemNet auf drei Aufgaben der Bildrekonstruktion an: Bild-Rauschunterdrückung, Super-Resolution und JPEG-Deblocking. Umfassende Experimente belegen die Notwendigkeit von MemNet und seine eindeutige Überlegenheit gegenüber den bisherigen State-of-the-Art-Verfahren auf allen drei Aufgaben. Der Quellcode ist unter https://github.com/tyshiwo/MemNet verfügbar.