ERQA: Edge-Restoration Quality Assessment für Video-Super-Resolution

Trotz der wachsenden Beliebtheit der Video-Super-Resolution (VSR) gibt es bisher keine zuverlässige Methode zur Bewertung der Qualität der wiederhergestellten Details in hochaufgelösten Bildern. Einige SR-Verfahren können beispielsweise die falsche Ziffer oder gar ein völlig anderes Gesicht erzeugen. Ob die Ergebnisse eines Verfahrens vertrauenswürdig sind, hängt entscheidend davon ab, wie gut es echte Details wiederherstellt. Bei der Bild-Super-Resolution können natürliche Verteilungen genutzt werden, um hochaufgelöste Bilder zu erzeugen, die zwar gewisse Ähnlichkeiten mit dem Original aufweisen, aber nicht notwendigerweise dessen wahre Details widerspiegeln. Die VSR hingegen ermöglicht die Nutzung zusätzlicher Informationen aus benachbarten Frames, um Details aus der ursprünglichen Szene präziser wiederherzustellen. Das in diesem Artikel vorgestellte ERQA-Maß zielt darauf ab, die Fähigkeit eines Modells zur Wiederherstellung realistischer Details mittels VSR zu schätzen. Ausgehend von der Annahme, dass Kanten für die Detailgenauigkeit und die Erkennung von Merkmalen von zentraler Bedeutung sind, haben wir die Kanten-Genauigkeit (edge fidelity) als Grundlage für dieses Maß gewählt. Die experimentelle Validierung unserer Arbeit basiert auf dem MSU Video Super-Resolution Benchmark, der die anspruchsvollsten Muster für die Detailwiederherstellung enthält und die Treue der Details im Vergleich zum Originalframe überprüft. Der Quellcode für das vorgeschlagene Maß ist öffentlich unter https://github.com/msu-video-group/ERQA verfügbar.