HyperAIHyperAI
vor 2 Monaten

ProFlow: Lernen, optischen Fluss vorherzusagen

Daniel Maurer; Andrés Bruhn
ProFlow: Lernen, optischen Fluss vorherzusagen
Abstract

Die zeitliche Kohärenz ist eine wertvolle Informationsquelle im Kontext der optischen Flussberechnung. Allerdings ist die Suche nach einem geeigneten Bewegungsmodell, um diese Information zu nutzen, eine nicht-triviale Aufgabe. In dieser Arbeit schlagen wir einen unüberwachten Online-Lernansatz vor, der auf einem Faltungsneuronalen Netzwerk (CNN) basiert und ein solches Bewegungsmodell für jeden Frame individuell berechnet. Durch den Vergleich von Vorwärts- und Rückwärtsbewegung ermöglichen diese gelernten Modelle es nicht nur, wertvolle Bewegungsinformationen auf Basis des Rückwärtsflusses abzuleiten, sondern helfen auch, die Leistung bei Verdeckungen zu verbessern, wo eine zuverlässige Vorhersage besonders nützlich ist. Zudem sind unsere gelernten Modelle räumlich variabel und ermöglichen daher per Konstruktion die Schätzung von nicht-starrer Bewegung. Dies ermöglicht es, die wesentliche Einschränkung neuer starrheitsbasierter Ansätze zu überwinden, die versuchen, die Schätzung durch Einbeziehung zusätzlicher Stereo-/SfM-Einschränkungen zu verbessern. Experimente zeigen die Nützlichkeit unseres neuen Ansatzes. Sie demonstrieren nicht nur eine konsistente Verbesserung von bis zu 27 % für alle wichtigen Benchmarks (KITTI 2012, KITTI 2015, MPI Sintel) im Vergleich zu einer Baseline ohne Vorhersage, sondern erzielen auch Spitzenresultate beim MPI Sintel Benchmark – demjenigen der drei Benchmarks, der den größten Anteil an nicht-starrer Bewegung enthält.