MaskFlownet: Asymmetrische Merkmalsübereinstimmung mit lernbarer Sichtbarkeitsmaske

Feature-Warping ist eine zentrale Technik bei der Schätzung von optischen Flüssen; die durch verdeckte Bereiche während des Warpings verursachte Mehrdeutigkeit stellt jedoch ein weiterhin ungelöstes Problem dar. In diesem Artikel stellen wir ein asymmetrisches, Verdecktheitsbewusstes Merkmalsübereinstimmungsmodul vor, das in der Lage ist, eine grobe Verdecktheitsmaske zu lernen, die unmittelbar nach dem Feature-Warping nutzlose (verdeckte) Bereiche filtert, ohne dass explizite Überwachung erforderlich ist. Das vorgeschlagene Modul lässt sich problemlos in end-to-end-Netzwerkarchitekturen integrieren und bringt eine Leistungssteigerung mit sich, wobei der zusätzliche Rechenaufwand vernachlässigbar gering bleibt. Die gelernte Verdecktheitsmaske kann anschließend in eine nachfolgende Netzwerk-Kaskade mit doppelten Merkmalspyramiden eingespeist werden, wodurch wir einen Stand der Technik erreichen. Zum Zeitpunkt der Einreichung übertrifft unsere Methode, MaskFlownet genannt, alle veröffentlichten Ansätze zur optischen Flussberechnung auf den Benchmarks MPI Sintel, KITTI 2012 und 2015. Der Quellcode ist unter https://github.com/microsoft/MaskFlownet verfügbar.