Bewegungsbewusstes doppeltes Aufmerksamkeitsnetzwerk für die Entschärfung dynamischer Szenen

Die Bewegungsunschärfebeseitigung in dynamischen Szenen ist eine anspruchsvolle Aufgabe, insbesondere wenn die Unschärfe durch eine einzelne oder kombinierte Wirkung verschiedener Faktoren wie bewegte Objekte, Kamerabewegung usw. verursacht wird. Da Ereigniskameras Änderungen der Intensität mit geringer Latenz detektieren können, wird die notwendige Bewegungsinformation inhärent in den Ereignisdaten erfasst, was für die Unschärfekorrektur von herkömmlichen Kameras äußerst nützlich sein kann. Die Degradationsintensität zeigt aufgrund von Faktoren wie Objektentfernung, Geschwindigkeit usw. keine Homogenität über das gesamte Bild. Wir schlagen eine zweigleisige Netzwerkarchitektur, das Motion Aware Double Attention Network (MADANet), vor, die besondere Aufmerksamkeit auf Bereiche mit hoher Unschärfe richtet. Im Rahmen des Netzwerks werden die Ereignisdaten zunächst vom Modul zur Segmentierung von Bereichen mit hoher Unschärfe genutzt, das eine wahrscheinlichkeitsähnliche Bewertung für Gebiete erzeugt, die eine hohe relative Bewegung gegenüber der Kamera aufweisen. Anschließend werden die Ereignisdaten auch in die Merkmalskarten des Hauptteils des Netzwerks integriert, wo jeweils eine zweite Aufmerksamkeitsmechanismus für jeden Zweig zur Verfügung steht. Die effektive Nutzung der Ereignisdaten und die zweistufige Aufmerksamkeitsmechanismen machen das Netzwerk äußerst kompakt. In den Experimenten konnte gezeigt werden, dass das vorgeschlagene Netzwerk nicht nur auf dem Benchmark-Datensatz aus GoPro, sondern auch auf zwei neu erfassten Datensätzen, von denen einer echte Ereignisdaten enthält, eine state-of-the-art-Leistung erzielt.