HyperAIHyperAI

Command Palette

Search for a command to run...

GMFlow: Lernen von Optischem Fluss mittels Globaler Übereinstimmung

Haofei Xu Jing Zhang Jianfei Cai Hamid Rezatofighi Dacheng Tao

Zusammenfassung

Die auf Lernverfahren basierende Optische-Fluss-Schätzung wurde bisher dominiert durch einen Pipeline-Ansatz, der eine Kostenvolumen-Struktur mit Faltungen zur Flussregression nutzt, was inhärent auf lokale Korrelationen beschränkt ist und daher die langbestehende Herausforderung großer Verschiebungen nur schwer bewältigen kann. Um dies zu überwinden, verbessert der aktuelle Stand der Technik, das RAFT-Verfahren, schrittweise die Vorhersagequalität durch eine große Anzahl iterativer Verfeinerungen, was beachtliche Leistung erzielt, jedoch eine linear steigende Inferenzzeit mit sich bringt. Um sowohl hohe Genauigkeit als auch Effizienz zu erreichen, überarbeiten wir die dominierende Flussregressions-Pipeline grundlegend, indem wir den optischen Fluss als Problem der globalen Zuordnung formulieren, das Korrespondenzen direkt durch den Vergleich von Merkmalsähnlichkeiten identifiziert. Konkret schlagen wir den GMFlow-Framework vor, der aus drei zentralen Komponenten besteht: einem maßgeschneiderten Transformer zur Merkmalsverbesserung, einer Korrelations- und Softmax-Schicht zur globalen Merkmalsübereinstimmung sowie einer Selbst-Attention-Schicht zur Fluss-Propagation. Zudem führen wir einen Nachverfeinerungsschritt ein, bei dem GMFlow bei höherer Merkmalsauflösung zur Vorhersage von Restflüssen erneut verwendet wird. Unser neues Framework erreicht auf dem anspruchsvollen Sintel-Benchmark eine bessere Leistung als RAFT mit 31 Verfeinerungsschritten, benötigt jedoch lediglich eine einzige Verfeinerung und läuft schneller – was einen neuen Paradigmenwechsel für präzise und effiziente optische Flussabschätzung nahelegt. Der Quellcode ist unter https://github.com/haofeixu/gmflow verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp