HyperAIHyperAI

Command Palette

Search for a command to run...

Memory-Augmentierte Nicht-Lokale Aufmerksamkeit für Video-Super-Resolution

Jiyang Yu Jingen Liu Liefeng Bo Tao Mei

Zusammenfassung

In dieser Arbeit schlagen wir eine neuartige Methode für Video-Super-Resolution vor, die darauf abzielt, hochauflösende (HR) Videos mit hoher Treue aus niedrig auflösenden (LR) Videos zu generieren. Vorherige Methoden nutzen überwiegend zeitliche Nachbarframes, um die Super-Resolution des aktuellen Frames zu unterstützen. Diese Ansätze erzielen begrenzte Leistungen, da sie sich mit der Herausforderung der räumlichen Frameausrichtung und dem Mangel an nützlichen Informationen von ähnlichen LR-Nachbarframes herumschlagen müssen. Im Gegensatz dazu entwickeln wir einen cross-frame non-local Attention-Mechanismus, der Video-Super-Resolution ohne Frameausrichtung ermöglicht und somit robuster gegenüber großen Bewegungen im Video ist. Zudem, um Informationen jenseits der Nachbarframes zu gewinnen, entwerfen wir ein neues memory-augmented Attention-Modul (gedächtnisverstärktes Aufmerksamkeitsmodul), das allgemeine Videodetails während des Trainings für die Super-Resolution speichert. Experimentelle Ergebnisse zeigen, dass unsere Methode bei großen Bewegungen in Videos eine überlegene Leistung im Vergleich zu den besten bisher bekannten Methoden erzielt, ohne Frames auszurichten. Unser Quellcode wird veröffentlicht werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Memory-Augmentierte Nicht-Lokale Aufmerksamkeit für Video-Super-Resolution | Paper | HyperAI