PWC-Net: CNNs zur optischen Flussbestimmung unter Verwendung von Pyramide, Warping und Kostenvolumen

Wir präsentieren ein kompaktes, aber effektives CNN-Modell für optische Flussberechnung, das PWC-Net genannt wird. PWC-Net wurde nach einfachen und gut etablierten Prinzipien entwickelt: pyramidalen Verarbeitung, Warping und der Nutzung eines Kostenvolumens. In einem lernbaren Merkmalspyramidensystem implementiert, verwendet PWC-Net die aktuelle Schätzung des optischen Flusses, um die CNN-Merkmale des zweiten Bildes zu verformen (warp). Anschließend werden die verformten Merkmale und die Merkmale des ersten Bildes verwendet, um ein Kostenvolumen zu konstruieren, das durch ein weiteres CNN verarbeitet wird, um den optischen Fluss zu schätzen. PWC-Net ist 17-mal kleiner in seiner Größe und einfacher zu trainieren als das kürzlich veröffentlichte FlowNet2-Modell. Darüber hinaus übertrifft es alle veröffentlichten Methoden der optischen Flussberechnung in den Benchmarks MPI Sintel Final Pass und KITTI 2015, wobei es bei einer Auflösung von 1024x436 Pixeln (Sintel-Auflösung) mit etwa 35 fps läuft. Unsere Modelle sind unter https://github.com/NVlabs/PWC-Net verfügbar.