Memory-Augmentierte Nicht-Lokale Aufmerksamkeit für Video-Super-Resolution

In dieser Arbeit schlagen wir eine neuartige Methode für Video-Super-Resolution vor, die darauf abzielt, hochauflösende (HR) Videos mit hoher Treue aus niedrig auflösenden (LR) Videos zu generieren. Vorherige Methoden nutzen überwiegend zeitliche Nachbarframes, um die Super-Resolution des aktuellen Frames zu unterstützen. Diese Ansätze erzielen begrenzte Leistungen, da sie sich mit der Herausforderung der räumlichen Frameausrichtung und dem Mangel an nützlichen Informationen von ähnlichen LR-Nachbarframes herumschlagen müssen. Im Gegensatz dazu entwickeln wir einen cross-frame non-local Attention-Mechanismus, der Video-Super-Resolution ohne Frameausrichtung ermöglicht und somit robuster gegenüber großen Bewegungen im Video ist. Zudem, um Informationen jenseits der Nachbarframes zu gewinnen, entwerfen wir ein neues memory-augmented Attention-Modul (gedächtnisverstärktes Aufmerksamkeitsmodul), das allgemeine Videodetails während des Trainings für die Super-Resolution speichert. Experimentelle Ergebnisse zeigen, dass unsere Methode bei großen Bewegungen in Videos eine überlegene Leistung im Vergleich zu den besten bisher bekannten Methoden erzielt, ohne Frames auszurichten. Unser Quellcode wird veröffentlicht werden.