Command Palette
Search for a command to run...
PWC-Net: CNNs zur optischen Flussberechnung unter Verwendung von Pyramiden, Warping und Kostenvolumen
PWC-Net: CNNs zur optischen Flussberechnung unter Verwendung von Pyramiden, Warping und Kostenvolumen
Sun Deqing Yang Xiaodong Liu Ming-Yu Kautz Jan
Zusammenfassung
Wir stellen ein kompaktes, aber leistungsfähiges CNN-Modell für die optische Flussberechnung vor, namens PWC-Net. PWC-Net wurde nach einfachen und gut etablierten Prinzipien entworfen: pyramidenförmige Verarbeitung, Warping und die Nutzung eines Kostenvolumens. In einer lernbaren Merkmalspyramide verwendet PWC-Net die aktuelle Schätzung des optischen Flusses, um die CNN-Merkmale des zweiten Bildes zu deformieren (warpen). Anschließend wird aus den deformierten Merkmalen und den Merkmalen des ersten Bildes ein Kostenvolumen erstellt, das dann durch ein CNN verarbeitet wird, um den optischen Fluss zu schätzen. PWC-Net ist 17-mal kleiner und einfacher zu trainieren als das kürzlich vorgestellte FlowNet2-Modell. Zudem übertrifft es alle bisher veröffentlichten Methoden zur optischen Flussberechnung auf den Benchmarks MPI Sintel Final Pass und KITTI 2015 und läuft bei Bildauflösung von Sintel (1024×436) mit etwa 35 fps. Unsere Modelle sind unter https://github.com/NVlabs/PWC-Net verfügbar.