HyperAIHyperAI

Command Palette

Search for a command to run...

Blur-aware Spatio-temporal Sparse Transformer für die Video-Entschärfung

Huicong Zhang Haozhe Xie Hongxun Yao

Zusammenfassung

Die Video-Deblurring-Methode beruht darauf, Informationen aus anderen Frames der Videosequenz zu nutzen, um die verschwommenen Bereiche im aktuellen Frame wiederherzustellen. Mainstream-Ansätze setzen dabei auf bidirektionale Merkmalspropagation, spatio-temporale Transformer oder eine Kombination beider Ansätze, um Informationen aus der Videosequenz zu extrahieren. Allerdings beschränken sich die zeitlichen Fensterlängen der spatio-temporalen Transformer aufgrund von Speicher- und Rechenressourcen, wodurch die Ausnutzung längerer zeitlicher Kontextinformationen aus der Sequenz verhindert wird. Zudem ist die bidirektionale Merkmalspropagation hoch empfindlich gegenüber ungenauen optischen Flüssen in verschwommenen Frames, was zu einer Fehlerakku­mulation während des Propagationsprozesses führt. Um diese Probleme zu lösen, schlagen wir \textbf{BSSTNet}, ein \textbf{B}lur-aware \textbf{S}patio-\textbf{t}emporal \textbf{S}parse \textbf{T}ransformer Netzwerk, vor. Es führt eine Verschwommheitskarte (blur map) ein, die die ursprünglich dichte Aufmerksamkeit in eine spärliche Form umwandelt und somit eine effizientere Nutzung von Informationen über die gesamte Videosequenz hinweg ermöglicht. Konkret ermöglicht BSSTNet (1) die Nutzung eines längeren zeitlichen Fensters im Transformer, wodurch Informationen aus weiter entfernten Frames genutzt werden können, um die verschwommenen Pixel im aktuellen Frame besser wiederherzustellen. (2) Einführung einer bidirektionalen Merkmalspropagation, die durch Verschwommheitskarten geleitet wird, wodurch die Fehlerakku­mulation, verursacht durch verschwommene Frames, reduziert wird. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene BSSTNet die state-of-the-art-Methoden auf den Datensätzen GoPro und DVD übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp