モデルが重要である、トレーニングも同様に重要である：光学フロー推定のCNNに関する実証的研究

本研究探讨了用于光流估计的CNN（Convolutional Neural Networks）的两个关键且密切相关方面：模型和训练。首先，我们根据简单而成熟的原则——金字塔处理、变形（warping）、以及代价体积处理——设计了一种紧凑但有效的CNN模型，称为PWC-Net。与最近的FlowNet2模型相比，PWC-Net的规模缩小了17倍，推理速度提高了2倍，在Sintel最终数据集上的精度也提高了11%。该模型在鲁棒视觉挑战赛的光流竞赛中获胜。接下来，我们通过实验分析了性能提升的来源。特别是，我们使用与PWC-Net相同的训练程序重新训练了FlowNet2的一个子网络FlowNetC。重新训练后的FlowNetC在Sintel最终数据集上的精度比之前训练的版本提高了56%，甚至比FlowNet2模型本身高出5%。我们进一步改进了训练程序，使PWC-Net在Sintel数据集上的精度提高了10%，在KITTI 2012和2015数据集上的精度提高了20%。我们的新训练模型参数和训练协议将在https://github.com/NVlabs/PWC-Net 上提供。本研究では、光流推定に用いられるCNN（畳み込みニューラルネットワーク）の二つの重要な関連する側面、すなわちモデルと訓練について調査しました。まず、単純かつ確立された原則に基づいて、コンパクトながら効果的なCNNモデルであるPWC-Netを設計しました。これらの原則は、ピラミッド処理、ワーピング（warping）、およびコストボリューム処理です。PWC-Netは、最近のFlowNet2モデルと比較してサイズが17倍小さく、推論速度が2倍速く、Sintel最終データセットでの精度も11%向上しています。このモデルは、ロバストビジョンチャレンジの光流競争で優勝しました。次に、我々は実験的に性能向上の原因を分析しました。特に、PWC-Netと同じ訓練手順を使用してFlowNet2のサブネットワークであるFlowNetCを再訓練しました。再訓練されたFlowNetCは、以前に訓練されたものよりもSintel最終データセットでの精度が56%向上し、FlowNet2モデル自体よりも5%高い精度を達成しました。さらに我々は訓練手順を改善し、PWC-NetのSintelデータセットでの精度を10%向上させました。また、KITTI 2012および2015データセットでの精度も20%向上させました。新しく訓練したモデルのパラメータと訓練プロトコルは、https://github.com/NVlabs/PWC-Net で公開されます。