HyperAIHyperAI

Command Palette

Search for a command to run...

Volumetrische Korrespondenznetzwerke für optischen Fluss

Deva Ramanan Gengshan Yang

Zusammenfassung

Viele klassische Aufgaben im Bereich der Bildverarbeitung – wie beispielsweise die Schätzung des optischen Flusses oder der Stereo-Disparitäten – können als dichte Korrespondenzübereinstimmung formuliert werden. Bekannte Verfahren hierfür nutzen typischerweise einen Kostenvolumen, meist einen 4D-Tensor, der die Übereinstimmungskosten zwischen allen Pixeln einer 2D-Bildfläche und ihren möglichen Entsprechungen in einem 2D-Suchfenster enthält. Moderne tiefen Netzwerke für Fluss- und Stereo-Aufgaben nutzen solche volumetrischen Darstellungen als interne Schichten. Diese Schichten erfordern jedoch erhebliche Mengen an Speicher und Rechenleistung, was ihre praktische Anwendung erschwert. Als Folge setzen State-of-the-Art-Netzwerke daher verschiedene Heuristiken ein, um die volumetrische Verarbeitung zu begrenzen, was zu eingeschränkter Genauigkeit und Überanpassung führt. Stattdessen stellen wir mehrere einfache Modifikationen vor, die die Nutzung volumetrischer Schichten erheblich vereinfachen: (1) volumetrische Encoder-Decoder-Architekturen, die große Empfindlichkeitsfelder effizient erfassen, (2) mehrkanalige Kostenvolumen, die mehrdimensionale Konzepte der Pixel-Ähnlichkeit erfassen, und schließlich (3) separierbare volumetrische Filterung, die die Berechnung und Anzahl der Parameter erheblich reduziert, ohne die Genauigkeit zu beeinträchtigen. Unsere Innovationen verbessern die Genauigkeit gegenüber State-of-the-Art erheblich auf Standardbenchmarks, sind gleichzeitig deutlich einfacher zu handhaben – das Training konvergiert in 10-fach weniger Iterationen – und vor allem generalisieren unsere Netzwerke über verschiedene Korrespondenzaufgaben hinweg. Die dynamische Anpassung der Suchfenster ermöglicht es, optische Fluss-Netzwerke für Stereo-Aufgaben (und umgekehrt) zu nutzen, und kann zudem zur Implementierung adaptiver Netzwerke genutzt werden, die auf Anforderung die Größe der Suchfenster erhöhen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Volumetrische Korrespondenznetzwerke für optischen Fluss | Paper | HyperAI