HyperAIHyperAI

Command Palette

Search for a command to run...

ProFlow: Lernen, optischen Fluss vorherzusagen

Daniel Maurer; Andrés Bruhn

Zusammenfassung

Die zeitliche Kohärenz ist eine wertvolle Informationsquelle im Kontext der optischen Flussberechnung. Allerdings ist die Suche nach einem geeigneten Bewegungsmodell, um diese Information zu nutzen, eine nicht-triviale Aufgabe. In dieser Arbeit schlagen wir einen unüberwachten Online-Lernansatz vor, der auf einem Faltungsneuronalen Netzwerk (CNN) basiert und ein solches Bewegungsmodell für jeden Frame individuell berechnet. Durch den Vergleich von Vorwärts- und Rückwärtsbewegung ermöglichen diese gelernten Modelle es nicht nur, wertvolle Bewegungsinformationen auf Basis des Rückwärtsflusses abzuleiten, sondern helfen auch, die Leistung bei Verdeckungen zu verbessern, wo eine zuverlässige Vorhersage besonders nützlich ist. Zudem sind unsere gelernten Modelle räumlich variabel und ermöglichen daher per Konstruktion die Schätzung von nicht-starrer Bewegung. Dies ermöglicht es, die wesentliche Einschränkung neuer starrheitsbasierter Ansätze zu überwinden, die versuchen, die Schätzung durch Einbeziehung zusätzlicher Stereo-/SfM-Einschränkungen zu verbessern. Experimente zeigen die Nützlichkeit unseres neuen Ansatzes. Sie demonstrieren nicht nur eine konsistente Verbesserung von bis zu 27 % für alle wichtigen Benchmarks (KITTI 2012, KITTI 2015, MPI Sintel) im Vergleich zu einer Baseline ohne Vorhersage, sondern erzielen auch Spitzenresultate beim MPI Sintel Benchmark – demjenigen der drei Benchmarks, der den größten Anteil an nicht-starrer Bewegung enthält.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp