FDFlowNet: Schnelle optische Fluss-Schätzung mittels eines tiefen, leichtgewichtigen Netzwerks

Bei der Schätzung des optischen Flusses mittels tiefer neuronalen Netze wurde erheblicher Fortschritt erzielt. Fortgeschrittene tiefe Modelle erreichen häufig eine hohe Genauigkeit bei der Flussabschätzung, jedoch mit erheblichem Rechenaufwand und zeitaufwändigen Trainingsprozessen. In dieser Arbeit präsentieren wir ein leichtgewichtiges, dennoch leistungsfähiges Modell für die Echtzeit-Optikfluss-Schätzung, das als FDFlowNet (fast deep flownet) bezeichnet wird. Unser Modell erreicht eine bessere oder vergleichbare Genauigkeit auf den anspruchsvollen Benchmarks KITTI und Sintel, während es etwa doppelt so schnell wie PWC-Net ist. Dies wird durch eine sorgfältig entworfene Architektur sowie neu vorgeschlagene Komponenten ermöglicht. Zunächst führen wir ein U-förmiges Netzwerk zur Erstellung von mehrskaligen Merkmalen ein, das im Vergleich zu Pyramiden-Netzwerken den höheren Schichten ein globales Empfindlichkeitsfeld verleiht. In jeder Skala wird eine partiell vollständig verbundene Struktur mit dilatierten Konvolutionen zur Flussabschätzung vorgeschlagen, die im Vergleich zu sequenziellen und dichten Verbindungsstrukturen ein gutes Gleichgewicht zwischen Geschwindigkeit, Genauigkeit und Anzahl der Parameter erreicht. Experimente belegen, dass unser Modell sowohl Spitzenleistung als auch hohe Geschwindigkeit und geringes Gewicht aufweist.