DPFlow：二重ピラミッドフレームワークを用いた適応型オプティカルフロー推定

光学フロー推定は、映像の復元や動作認識といった映像処理タスクにおいて不可欠である。近年、映像の品質は継続的に向上しており、現在の標準は8K解像度に達している。しかし、従来の光学フロー手法は低解像度を想定して設計されており、その構造が固定されているため、大規模な入力に対して一般化が困難である。これらの手法は入力サイズを小さくするためにダウンスケーリングや入力タイリングを採用するが、これにより細部情報やグローバルな情報が損なわれる。また、高解像度入力に対する既存手法の実際の性能を評価するための光学フローベンチマークが不足している。これまでの研究では、手動で選定されたサンプルに対する定性的な高解像度評価しか行われていなかった。本論文では、光学フロー推定におけるこのギャップを2つの面から埋める。まず、低解像度のサンプルのみで学習されたとしても、最大8K解像度の入力にまで一般化可能な適応型光学フローアーキテクチャ「DPFlow」を提案する。また、1Kから8Kまでのさまざまな入力解像度を対象とした光学フロー手法の評価を可能にする新規ベンチマーク「Kubric-NK」を導入する。本研究による高解像度評価は、既存手法の限界を押し広げ、その一般化能力に関する新たな知見を明らかにする。広範な実験結果から、DPFlowがMPI-Sintel、KITTI 2015、Springなど、さまざまな高解像度ベンチマークにおいて最先端の性能を達成していることが示された。