Deep Equilibrium Optical Flow Estimation

Viele aktuelle state-of-the-art (SOTA)-Modelle für optischen Fluss nutzen endliche Schritt-Rekurrenz-Update-Operationen, um traditionelle Algorithmen nachzuahmen, indem sie iterative Verfeinerungen hin zu einer stabilen Flussabschätzung fördern. Diese RNNs verursachen jedoch erhebliche Rechen- und Speicherbelastungen und werden nicht direkt darauf trainiert, eine stabile Schätzung zu modellieren. Sie konvergieren oft schlecht und leiden daher unter Leistungseinbußen. Um diese Nachteile zu überwinden, schlagen wir tiefgleichgewichtige (DEQ) Flussabschätzer vor, einen Ansatz, der den Fluss direkt als unendlich tiefen Fixpunkt einer impliziten Schicht (unter Verwendung eines beliebigen Black-Box-Lösers) berechnet und diesen Fixpunkt analytisch ableitet (wodurch nur ein $O(1)$-Speicherbedarf beim Training erforderlich ist). Dieser implizit-tiefen Ansatz basiert nicht auf einem bestimmten Modell und kann daher auf eine breite Palette von SOTA-Flussabschätzungsmethoden angewendet werden. Die Verwendung dieser DEQ-Flussabschätzer ermöglicht eine schnellere Flussberechnung durch beispielsweise Fixpunkt-Wiederverwendung und inexacte Gradienten, verbraucht 4 bis 6-mal weniger Trainings-Speicher als rekurrente Alternativen und erreicht bei gleichem Rechenaufwand bessere Ergebnisse. Zusätzlich stellen wir eine neuartige, spärliche Fixpunkt-Korrektur-Schemata vor, um die Stabilität unserer DEQ-Flussabschätzer zu verbessern, was eine lang bestehende Herausforderung für DEQ-Modelle allgemein adressiert. Wir testen unseren Ansatz in verschiedenen realistischen Szenarien und zeigen, dass er SOTA-Methoden auf den Datensätzen Sintel und KITTI erheblich verbessert, wobei eine signifikant bessere Rechen- und Speichereffizienz erreicht wird.