Hohe Auflösung, mehrskaliges RAFT (Robust Vision Challenge 2022)

In diesem Bericht präsentieren wir unseren Ansatz für optischen Fluss, MS-RAFT+, der den Robust Vision Challenge 2022 gewann. Er basiert auf der MS-RAFT-Methode, die mehrere Multiskalen-Konzepte erfolgreich in die einskalige RAFT-Struktur integriert. Unser Ansatz erweitert diese Methode durch die Ausnutzung einer zusätzlichen feineren Skala zur Schätzung des Flusses, die durch bedarfsorientierte Kostenberechnung ermöglicht wird. Auf diese Weise kann das Verfahren nicht nur mit der halben ursprünglichen Auflösung arbeiten, sondern auch den gemeinsamen konvexen Up-Sampler von MS-RAFT nutzen, um Flussfelder in voller Auflösung zu erzeugen. Zudem beruht unser Ansatz auf einer angepassten Feinabstimmungsschema während des Trainings, das darauf abzielt, die Generalisierbarkeit über verschiedene Benchmarks hinweg zu verbessern. Unter allen am Robust Vision Challenge teilnehmenden Methoden erreicht unser Ansatz den ersten Platz bei VIPER und den zweiten Platz bei KITTI, Sintel und Middlebury, was insgesamt den ersten Platz in der Gesamtrangliste ergibt.