Modelle zählen, ebenso wie das Training: Eine empirische Studie zu CNNs für die optische Flussberechnung

Wir untersuchen zwei entscheidende und eng miteinander verbundene Aspekte von CNNs für die optische Flussberechnung: Modelle und Training. Zunächst entwerfen wir ein kompaktes, aber effektives CNN-Modell, das PWC-Net genannt wird, gemäß einfachen und etablierten Prinzipien: pyramidale Verarbeitung, Warping und Kostenvolumenverarbeitung. PWC-Net ist 17-mal kleiner in der Größe, 2-mal schneller bei der Inferenz und 11 % genauer auf dem Sintel-Final-Datensatz als das jüngere FlowNet2-Modell. Es ist der siegreiche Beitrag im optischen Flusswettbewerb der Robust Vision Challenge. Anschließend führen wir experimentelle Analysen durch, um die Quellen unserer Leistungsverbesserungen zu ermitteln. Insbesondere verwenden wir den gleichen Trainingsprozess von PWC-Net, um FlowNetC, ein Untermodell von FlowNet2, neu zu trainieren. Das neu trainierte FlowNetC ist 56 % genauer auf dem Sintel-Final-Datensatz als das vorherige Modell und sogar 5 % genauer als das FlowNet2-Modell. Wir verbessern den Trainingsprozess weiter und erhöhen die Genauigkeit von PWC-Net auf Sintel um 10 % sowie auf KITTI 2012 und 2015 um 20 %. Unsere neu trainierten Modelparameter und Trainingsprotokolle werden unter https://github.com/NVlabs/PWC-Net zur Verfügung gestellt.