HyperAIHyperAI

Command Palette

Search for a command to run...

Deep Equilibrium Optical Flow Estimation

Shaojie Bai Zhengyang Geng Yash Savani J. Zico Kolter

Zusammenfassung

Viele aktuelle state-of-the-art (SOTA)-Modelle für optischen Fluss nutzen endliche Schritt-Rekurrenz-Update-Operationen, um traditionelle Algorithmen nachzuahmen, indem sie iterative Verfeinerungen hin zu einer stabilen Flussabschätzung fördern. Diese RNNs verursachen jedoch erhebliche Rechen- und Speicherbelastungen und werden nicht direkt darauf trainiert, eine stabile Schätzung zu modellieren. Sie konvergieren oft schlecht und leiden daher unter Leistungseinbußen. Um diese Nachteile zu überwinden, schlagen wir tiefgleichgewichtige (DEQ) Flussabschätzer vor, einen Ansatz, der den Fluss direkt als unendlich tiefen Fixpunkt einer impliziten Schicht (unter Verwendung eines beliebigen Black-Box-Lösers) berechnet und diesen Fixpunkt analytisch ableitet (wodurch nur ein O(1)O(1)O(1)-Speicherbedarf beim Training erforderlich ist). Dieser implizit-tiefen Ansatz basiert nicht auf einem bestimmten Modell und kann daher auf eine breite Palette von SOTA-Flussabschätzungsmethoden angewendet werden. Die Verwendung dieser DEQ-Flussabschätzer ermöglicht eine schnellere Flussberechnung durch beispielsweise Fixpunkt-Wiederverwendung und inexacte Gradienten, verbraucht 4 bis 6-mal weniger Trainings-Speicher als rekurrente Alternativen und erreicht bei gleichem Rechenaufwand bessere Ergebnisse. Zusätzlich stellen wir eine neuartige, spärliche Fixpunkt-Korrektur-Schemata vor, um die Stabilität unserer DEQ-Flussabschätzer zu verbessern, was eine lang bestehende Herausforderung für DEQ-Modelle allgemein adressiert. Wir testen unseren Ansatz in verschiedenen realistischen Szenarien und zeigen, dass er SOTA-Methoden auf den Datensätzen Sintel und KITTI erheblich verbessert, wobei eine signifikant bessere Rechen- und Speichereffizienz erreicht wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Deep Equilibrium Optical Flow Estimation | Paper | HyperAI