Neurale Szene-Fluss-Priori

Vor der tiefen Lernrevolution basierten viele Wahrnehmungsalgorithmen auf Laufzeitsoptimierung in Verbindung mit einem starken Prior-/Regularisierungsstrafwert. Ein prominentes Beispiel hierfür im Bereich der Computer Vision ist optischer Fluss und Szenenfluss. Überwachtes Lernen hat weitgehend die Notwendigkeit für explizite Regularisierung abgelöst. Stattdessen stützen sich diese Methoden auf große Mengen an beschrifteten Daten, um Priorstatistiken zu erfassen, die für viele Probleme nicht immer leicht verfügbar sind. Obwohl Optimierung zur Lernung des neuronalen Netzes eingesetzt wird, werden die Gewichte dieses Netzes zur Laufzeit fixiert. Daher sind diese Lernlösungen domänenspezifisch und verallgemeinern sich nicht gut auf andere statistisch unterschiedliche Szenarien. In dieser Arbeit wird das Szenenflussproblem erneut untersucht, das hauptsächlich auf Laufzeitsoptimierung und starker Regularisierung beruht. Eine zentrale Innovation besteht darin, einen neuronalen Szenenflussprior einzubeziehen, der die Architektur neuronaler Netze als eine neue Art von implizitem Regularisierer verwendet. Im Gegensatz zu lernbasierten Szenenflussmethoden findet die Optimierung zur Laufzeit statt, und unser Ansatz benötigt keine Offline-Datensätze – was ihn ideal für die Bereitstellung in neuen Umgebungen wie autonomem Fahren macht. Wir zeigen, dass eine Architektur, die ausschließlich auf mehrschichtigen Perzeptronen (MLPs) basiert, als Szenenflussprior verwendet werden kann. Unsere Methode erzielt wettbewerbsfähige – wenn nicht bessere – Ergebnisse bei Szenenflussbenchmarks. Zudem ermöglicht uns die implizite und kontinuierliche Darstellung des Szenenflusses durch unseren neuronalen Prior, dichte Langzeitkorrespondenz über eine Reihe von Punktwolken zu schätzen. Die dichten Bewegungsinformationen werden durch Szenenflussfelder repräsentiert, bei denen Punkte durch die Integration von Bewegungsvektoren über die Zeit propagiert werden können. Diese Fähigkeit demonstrieren wir durch das Akkumulieren einer Reihe von Lidar-Punktwolken.