効率的なオプティカルフローのためのRAFTの再考

深層学習に基づく光流推定手法においては、大きな変位や繰り返しパターンの正確な推定という課題が依然として残っている。これらのアルゴリズムで用いられる局所的特徴量と類似度探索のパターンの制限が、その原因の一因となっている。さらに、既存のいくつかの手法は実行速度が遅く、グラフィックスメモリの消費量が過剰であるという問題も抱えている。本研究では、RAFTフレームワークを基盤とする新たなアプローチを提案する。提案手法であるAttention-based Feature Localization（AFL）は、注意機構（attention mechanism）を導入することで、グローバルな特徴抽出を実現し、繰り返しパターンの処理を改善する。また、第2フレームにおける対応ピクセルとピクセル間のマッチングを実行し、正確な光流値を付与するための演算子を導入している。さらに、データの重複を低減し、類似度抽出のための探索空間を拡張することで、収束速度の向上と大規模な変位の処理能力の強化を図るため、Amorphous Lookup Operator（ALO）を新たに提案する。提案手法であるEfficient RAFT（Ef-RAFT）は、RAFTに対してSintelデータセットで10%、KITTIデータセットで5%の性能向上を達成している。特に注目すべきは、これらの性能向上が、実行速度を約33%低下させ、メモリ使用量をわずか13%増加させるという小さなコストで実現された点である。本研究のコードは以下のURLから公開されている：https://github.com/n3slami/Ef-RAFT