Command Palette
Search for a command to run...
FlowNet 2.0: Evolution der optischen Flussschätzung mit tiefen Netzwerken
FlowNet 2.0: Evolution der optischen Flussschätzung mit tiefen Netzwerken
Zusammenfassung
FlowNet zeigte, dass die Schätzung des optischen Flusses als Lernproblem formuliert werden kann. Dennoch wird die Qualität des optischen Flusses weiterhin durch herkömmliche Methoden bestimmt. Insbesondere bei kleinen Verschiebungen und realen Datensätzen kann FlowNet mit Variationsmethoden nicht konkurrieren. In diesem Artikel erweitern wir das Konzept des end-to-end-Lernens des optischen Flusses und bringen es so zur vollen Wirkung. Die erheblichen Verbesserungen in Qualität und Geschwindigkeit resultieren aus drei zentralen Beiträgen: Erstens legen wir den Fokus auf die Trainingsdaten und zeigen, dass die Reihenfolge, in der die Daten während des Trainings präsentiert werden, von entscheidender Bedeutung ist. Zweitens entwickeln wir eine gestapelte Architektur, die die Verzerrung des zweiten Bildes mittels eines Zwischenoptischen Flusses beinhaltet. Drittens behandeln wir kleine Verschiebungen durch Einführung eines spezialisierten Untermodells für geringe Bewegungen. FlowNet 2.0 ist nur geringfügig langsamer als das ursprüngliche FlowNet, reduziert jedoch den Schätzfehler um mehr als 50 %. Es erreicht eine Leistung auf dem Niveau der aktuellen State-of-the-Art-Methoden und läuft dabei mit interaktiven Bildraten. Darüber hinaus stellen wir schnellere Varianten vor, die eine Berechnung des optischen Flusses mit bis zu 140 fps ermöglichen, wobei die Genauigkeit dem ursprünglichen FlowNet entspricht.