EpO-Net: Ausnutzung geometrischer Einschränkungen dichter Trajektorien zur Bewegungssalienz

Die bestehenden Ansätze zur hervorstechenden Bewegungssegmentierung sind nicht in der Lage, geometrische Hinweise explizit zu lernen, und erzeugen häufig falsche Detektionen bei auffälligen statischen Objekten. Wir nutzen mehransichtige geometrische Einschränkungen, um diese Schwächen zu überwinden. Um nicht-starre Hintergründe wie ein Meer zu behandeln, schlagen wir zudem einen robusten Fusionsmechanismus zwischen bewegungs- und erscheinungsbasierten Merkmalen vor. Wir identifizieren dichte Trajektorien, die jedes Pixel im Video abdecken, und führen trajectorienbasierte Epipolardistanzen ein, um Hintergrund- und Vordergrundregionen zu unterscheiden. Diese Epipolardistanzen sind datenunabhängig und können leicht berechnet werden, sobald einige Korrespondenzen zwischen Merkmalen in den Bildern vorliegen. Wir zeigen, dass durch die Kombination von Epipolardistanzen mit optischem Fluss ein leistungsfähiges Bewegungsnetzwerk gelernt werden kann. Um dem Netzwerk die Nutzung beider Merkmale zu ermöglichen, schlagen wir eine einfache Mechanik vor, die wir Input-Dropout nennen. Im Vergleich zu rein bewegungsbasierten Netzwerken erreichen wir auf dem DAVIS-2016-Datensatz eine Verbesserung der mittleren IoU-Score um 5,2 % gegenüber der vorherigen State-of-the-Art-Methode. Durch die robuste Fusion unseres Bewegungsnetzwerks mit einem Erscheinungsnetzwerk mittels des Input-Dropout-Mechanismus übertrifft unsere Methode zudem die bisherigen Ansätze auf den Datensätzen DAVIS-2016, DAVIS-2017 und SegTrackv2.