要約
本論文では、グローバルシャッター（GS）からローリングシャッター（RS）への歪みフローを直接推定することで、RSの歪んだ画像を補正する手法を提案します。既存の方法は通常、RSからGSへの非歪みフローを使用して補正を行います。これらの方法はまず、連続するRSフレーム間のフローを予測し、時間依存のスケーリング係数を使用して、そのフローをRSフレームから基底となるGS画像への変位フィールドに再スケーリングします。その後、RS対応の前方ワarpingが用いられて、RS画像をGS画像に変換します。しかし、この戦略には2つの欠点があります。第一に、線形スケーリングのみでフローを推定すると、複雑な非線形運動特性により非歪みフローの推定が正確でなくなります。第二に、RS対応の前方ワarpingはしばしば避けることのできないアーティファクトを引き起こします。これらの制約に対処するために、我々は新しいフレームワークを導入し、歪みフローを直接推定し、後方ワarping操作によってRS画像を修正します。具体的には、最初にグローバル相関に基づくフローアテンションメカニズムを提案し、初期の歪みフローとGS特徴量を同時に推定します。これらはその後、粗い層から細かい層へと続くデコーダ層によって精緻化されます。さらに、多様な歪みフロー予測戦略が統合され、より一層正確なフロー推定の問題を軽減します。実験結果は提案手法の有効性を証明しており、様々なベンチマークにおいて最新の手法よりも優れた性能を示しながら高い効率性も維持しています。プロジェクトは以下のURLで公開されています: \url{https://github.com/ljzycmd/DFRSC}