LiteFlowNet: Ein leichtgewichtiges konvolutionsbasiertes neuronales Netzwerk für die Schätzung des optischen Flusses

FlowNet2, das momentan beste konvolutive Neuronale Netzwerk (CNN) für die optische Flussberechnung, benötigt über 160 Millionen Parameter, um eine genaue Flussabschätzung zu erreichen. In dieser Arbeit stellen wir ein alternatives Netzwerk vor, das FlowNet2 bei den anspruchsvollen Benchmarks Sintel Final Pass und KITTI übertrifft, gleichzeitig aber das Modell um den Faktor 30 kleiner ist und die Laufzeit um 1,36 Mal schneller. Dies wird durch eine detaillierte Analyse architektonischer Aspekte ermöglicht, die in aktuellen Frameworks möglicherweise übersehen wurden:(1) Wir präsentieren einen effektiveren Ansatz zur Flussinferenz auf jeder Pyramidenstufe durch ein leichtgewichtiges kaskadiertes Netzwerk. Dies verbessert nicht nur die Genauigkeit der Flussabschätzung durch frühzeitige Korrektur, sondern ermöglicht auch die nahtlose Integration von Deskriptormatching in unser Netzwerk.(2) Wir führen eine neuartige Schicht zur Flussregularisierung ein, die das Problem von Ausreißern und unscharfen Flussrändern durch eine featuregetriebene lokale Faltung löst.(3) Unser Netzwerk verfügt über eine effektive Struktur für die pyramidalen Featureextraktionen und setzt Featurewarping anstelle des in FlowNet2 verwendeten Imagewarpings ein.Unser Code und trainierte Modelle sind unter https://github.com/twhui/LiteFlowNet verfügbar.