Mehrfeld-Entflechtung mit deformierbaren Faltungsresidualblöcken und Selbst-Aufmerksamkeit

Obwohl das Deep Learning einen erheblichen Einfluss auf die Bild-/Videorestauration und Super-Resolution ausgeübt hat, hat sich das gelernte Deinterlacing bisher in der Akademie oder der Industrie weniger Aufmerksamkeit verschafft. Dies ist umso bemerkenswerter, da Deinterlacing sich gut für das überwachte Lernen aus synthetischen Daten eignet, da das Degradationsmodell bekannt und fest ist. In dieser Arbeit schlagen wir ein neues Mehrfeld-Vollbildraten-Deinterlacing-Netzwerk vor, das die neuesten Ansätze der Super-Resolution auf die Deinterlacing-Aufgabe anwendet. Unser Modell justiert Merkmale von benachbarten Feldern zu einem Referenzfeld (das deinterlaciert werden soll) sowohl mittels deformierbarer Faltungsresidualblöcke als auch durch Selbstaufmerksamkeit (self attention). Unsere umfangreichen experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode sowohl hinsichtlich numerischer als auch wahrnehmungsbasierter Leistung den aktuellen Stand der Technik im Deinterlacing darstellt. Zum Zeitpunkt des Schreibens rangiert unser Modell an erster Stelle im Vollbildraten-Leaderboard unter https://videoprocessing.ai/benchmarks/deinterlacer.html.