Wettbewerbsorientierte Zusammenarbeit: Gemeinsames unüberwachtes Lernen von Tiefe, Kamerabewegung, Optischem Fluss und Bewegungstrennung

Wir befassen uns mit dem unüberwachten Lernen mehrerer miteinander verbundener Probleme im Bereich der niedrigstufigen Bildverarbeitung: Tiefenschätzung aus einer einzelnen Ansicht, Kamerabewegungsschätzung, optischer Fluss und Segmentierung eines Videos in die statische Szene und bewegte Bereiche. Unser wesentlicher Einblick ist, dass diese vier grundlegenden Probleme der Bildverarbeitung durch geometrische Restriktionen gekoppelt sind. Folglich vereinfacht das gemeinsame Lösen dieser Probleme die Aufgabe, da die Lösungen sich gegenseitig verstärken können. Wir gehen über frühere Arbeiten hinaus, indem wir die Geometrie expliziter nutzen und die Szene in statische und bewegte Bereiche segmentieren. Zu diesem Zweck führen wir Competitive Collaboration (Wettbewerbskooperation) ein, einen Rahmen, der das koordinierte Training mehrerer spezialisierter neuronaler Netze zur Lösung komplexer Probleme erleichtert. Competitive Collaboration funktioniert ähnlich wie das Erwartungs-Maximierung-Verfahren (Expectation-Maximization), aber mit neuronalen Netzen, die sowohl als Wettbewerber agieren, um Pixel zu erklären, die den statischen oder bewegten Bereichen entsprechen, als auch als Kooperationspartner durch einen Moderator, der Pixel zuordnet, ob sie statisch sind oder unabhängig voneinander bewegen. Unsere neuartige Methode integriert alle diese Probleme in einem gemeinsamen Rahmen und zieht gleichzeitig Schlüsse über die Segmentierung der Szene in bewegte Objekte und den statischen Hintergrund, die Kamerabewegung, die Tiefe der statischen Szenenstruktur und den optischen Fluss von bewegten Objekten. Unser Modell wird ohne jede Überwachung trainiert und erreicht den Stand der Technik unter jointly unüberwachten Methoden in allen Teilproblemen.