
要約
光学フローの自己監督学習手法を提案します。当手法は、非被覆ピクセルから信頼性の高いフローアンサンブルを抽出し、これらの予測値を真値として用いて、被覆領域の光学フローを学習します。さらに、単純なCNN(畳み込みニューラルネットワーク)を設計し、複数フレームからの時間情報を活用してより精度の高いフローアンサンブルを行うようにしています。この2つの原理に基づく手法により、MPI Sintel、KITTI 2012および2015など、困難なベンチマークにおいて最良の性能が得られます。特に、当手法で事前学習した自己監督モデルは、教師あり微調整の優れた初期化に寄与します。微調整されたモデルは、全ての3つのデータセットで最先端の結果を達成しました。執筆時点では、SintelベンチマークにおいてEPE(平均エンドポイント誤差)=4.26を達成しており、提出された全ての方法を上回っています。