SelFlow: Selbstüberwachtes Lernen des optischen Flusses

Wir präsentieren einen selbstüberwachten Lernansatz für optische Flussbestimmung. Unsere Methode extrahiert zuverlässige Flussabschätzungen aus nicht verdeckten Pixeln und verwendet diese Vorhersagen als Grundwahrheit, um den optischen Fluss für halluzinierte Verdeckungen zu lernen. Des Weiteren entwickeln wir ein einfaches CNN (Convolutional Neural Network), um zeitliche Informationen aus mehreren Bildern zur Verbesserung der Flussabschätzung zu nutzen. Diese beiden Prinzipien führen zu einem Ansatz, der die beste Leistung bei der selbstüberwachten optischen Flussbestimmung auf anspruchsvollen Benchmarks wie MPI Sintel, KITTI 2012 und 2015 erzielt. Besonders erwähnenswert ist, dass unser selbstüberwachtes vortrainiertes Modell eine ausgezeichnete Initialisierung für überwachtes Feinabstimmung bietet. Unsere feinabgestimmten Modelle erreichen Spitzenleistungen auf allen drei Datensätzen. Zum Zeitpunkt des Schreibens erreichen wir einen EPE (End Point Error) von 4,26 auf dem Sintel-Benchmark, was alle eingereichten Methoden übertrifft.