FlowNet 2.0: Evolution der optischen Flussberechnung mit tiefen Netzwerken

Das FlowNet hat gezeigt, dass die optische Flussberechnung als ein Lernproblem formuliert werden kann. Dennoch wurde der Stand der Technik hinsichtlich der Qualität des Flusses weiterhin von traditionellen Methoden definiert. Insbesondere bei kleinen Verschiebungen und realen Daten kann FlowNet nicht mit variationellen Methoden konkurrieren. In dieser Arbeit setzen wir den Konzept der End-to-End-Lernmethode für optischen Fluss fort und verbessern es erheblich. Die großen Qualitäts- und Geschwindigkeitsverbesserungen sind auf drei wesentliche Beiträge zurückzuführen: Erstens konzentrieren wir uns auf die Trainingsdaten und zeigen, dass der Zeitplan zur Präsentation der Daten während des Trainings sehr wichtig ist. Zweitens entwickeln wir eine gestapelte Architektur, die das Verformen (Warping) des zweiten Bildes mit dem intermediären optischen Fluss einschließt. Drittens beschäftigen wir uns intensiver mit kleinen Verschiebungen durch die Einführung eines Unter-Netzes, das sich auf kleine Bewegungen spezialisiert. FlowNet 2.0 ist nur marginal langsamer als das ursprüngliche FlowNet, verringert aber den Schätzfehler um mehr als 50 %. Es erreicht Ergebnisse im Vergleich zu den besten aktuellen Methoden, während es interaktive Frameraten ermöglicht. Darüber hinaus präsentieren wir schnellere Varianten, die eine optische Flussberechnung bis zu 140fps ermöglichen, wobei die Genauigkeit der des ursprünglichen FlowNet entspricht.