PWC-Net: ピラミッド、ワーピング、およびコストボリュームを使用した光学フローのCNN

光学フロー用のコンパクトかつ効果的なCNNモデルであるPWC-Netを提案します。PWC-Netは、ピラミダ処理、ワーピング、コストボリュームの使用という単純かつ確立された原理に基づいて設計されています。学習可能な特徴量ピラミッド内で、PWC-Netは現在の光学フロー推定値を使用して第二画像のCNN特徴量をワーピングします。その後、ワーピングされた特徴量と第一画像の特徴量を使用してコストボリュームを構築し、このコストボリュームをCNNで処理して光学フローを推定します。PWC-Netは、最近のFlowNet2モデルよりも17倍小さく、訓練も容易です。さらに、MPI Sintel最終パスおよびKITTI 2015ベンチマークにおいて、すべての既存の光学フロー手法を上回り、Sintel解像度（1024x436）の画像では約35 fpsで動作します。当方のモデルはhttps://github.com/NVlabs/PWC-Netから入手可能です。