Dual Prior Unfolding für Snapshot-komprimierte Bildgebung

Kürzlich haben tiefes Entfalten-Methoden in der Snapshot-Compressive Imaging (SCI)-Rekonstruktion bemerkenswerte Erfolge erzielt. Allerdings folgen die bestehenden Ansätze alle dem iterativen Rahmen eines einzelnen Bildpriors, was die Effizienz der Entfaltungsverfahren einschränkt und die einfache und effektive Nutzung alternativer Priors erschwert. Um diese Beschränkungen zu überwinden, leiten wir eine effektive Dual-Prior-Entfaltung (Dual Prior Unfolding, DPU) ab, die die gemeinsame Nutzung mehrerer tiefer Priors ermöglicht und die Iterations-Effizienz erheblich steigert. Unser Entfaltungsverfahren setzt sich aus zwei Komponenten zusammen: dem Dual-Prior-Framework (DPF) und dem Focused Attention (FA)-Mechanismus. Kurz gesagt, erweitert DPF neben dem herkömmlichen Bildprior die Iterationsformel um einen Restterm und konstruiert durch Berücksichtigung verschiedener Degradationsarten einen degradierten Prior für diesen Rest, um das Entfaltungsgerüst zu etablieren. Um die Wirksamkeit des auf Selbst-Attention basierenden Priors zu verbessern, integriert FA ein neuartiges Mechanismus, das von der PCA-Rauschunterdrückung inspiriert ist, um Aufmerksamkeit zu skalieren und zu filtern, wodurch die Aufmerksamkeit effizienter auf relevante Merkmale fokussiert wird, ohne signifikanten Rechenaufwand zu verursachen. Zusätzlich wird ein asymmetrischer Backbone vorgeschlagen, um die Effizienz der hierarchischen Selbst-Attention weiter zu steigern. Bemerkenswert ist, dass unsere 5-Stufen-DPU gegenüber früheren Methoden die derzeit beste Leistung (SOTA) bei minimalen FLOPs und Parametern erzielt, während unsere 9-Stufen-DPU andere Entfaltungsverfahren erheblich übertrifft, gleichzeitig jedoch geringere Rechenanforderungen stellt.