RAFT: Rekurrente All-Pairs-Feldtransformationen für optischen Fluss

Wir stellen Recurrent All-Pairs Field Transforms (RAFT), eine neue tiefe Netzarchitektur für optischen Fluss, vor. RAFT extrahiert pro-Pixel-Features, erstellt mehrskalige 4D-Korrelationsvolumina für alle Pixel-Paare und aktualisiert iterativ einen Flussfeld durch eine rekurrente Einheit, die Suchoperationen in den Korrelationsvolumina durchführt. RAFT erreicht eine Stand der Technik-Leistung. Auf dem KITTI-Datensatz erzielt RAFT einen F1-all-Fehler von 5,10 %, was einer Reduktion des Fehlers um 16 % gegenüber dem besten bisher veröffentlichten Ergebnis (6,10 %) entspricht. Auf Sintel (Final Pass) erreicht RAFT eine Endpunktfehlerquote von 2,855 Pixeln, eine Reduktion des Fehlers um 30 % gegenüber dem besten bisher veröffentlichten Ergebnis (4,098 Pixeln). Zudem weist RAFT eine starke Verallgemeinerungsfähigkeit über Datensätze hinweg sowie hohe Effizienz hinsichtlich Inferenzzeit, Trainingsgeschwindigkeit und Anzahl der Parameter auf. Der Quellcode ist unter https://github.com/princeton-vl/RAFT verfügbar.