DeFMO: Entzerrung und Formwiederherstellung schneller bewegter Objekte

Gegenstände, die mit hoher Geschwindigkeit bewegt werden, erscheinen bei der Aufnahme mit Kameras erheblich verschwommen. Dieser verschwommene Eindruck ist besonders bei Objekten mit komplexer Form oder Textur ambivalent. In solchen Fällen sind klassische Verfahren sowie Menschen oft nicht in der Lage, das Erscheinungsbild und die Bewegung des Objekts wiederherzustellen. Wir schlagen eine Methode vor, die auf Basis eines einzigen Bildes mit geschätztem Hintergrund das Erscheinungsbild und die Position des Objekts in einer Reihe von Unterrahmen ausgibt, als sei es mit einer Hochgeschwindigkeitskamera aufgenommen worden (d. h. temporäre Superauflösung). Das vorgeschlagene generative Modell projiziert das verschwommene Objektbild in eine latente Raumdarstellung, trennt den Hintergrund entkoppelt und rendernt das scharfe Erscheinungsbild. Inspiriert durch das Bildentstehungsmodell entwickeln wir neuartige selbstüberwachte Verlustfunktionsterme, die die Leistungsfähigkeit steigern und eine gute Verallgemeinerungsfähigkeit zeigen. Die vorgestellte Methode DeFMO wird auf einem komplexen synthetischen Datensatz trainiert, zeigt jedoch auch hervorragende Ergebnisse auf realen Datensätzen aus mehreren Quellen. DeFMO übertrifft den Stand der Technik und generiert hochwertige Frames mit temporärer Superauflösung.