要約
現代の一般消費者向けカメラの大多数は、ローリングシャッター方式を採用しており、画像取得中にカメラが移動すると画像歪みが生じる。本論文では、2枚の連続フレームを用いて一般的なローリングシャッター補正問題を解決する新しい深層ネットワークを提案する。本手法のパイプラインは対称的に設計されており、2枚のフレーム間の中間時刻に対応するグローバルシャッター画像を予測することを目的としている。これは、従来の手法では困難であるため、2枚のフレームと最も異なるカメラポーズに対応するためである。まず、既に確立された原則に基づき、ピラミッド構造、ワーピング、コストボリューム処理を用いて、時間的に対称な高密度の歪み補正フローを推定する。次に、それぞれのローリングシャッター画像を特徴空間内で共通のグローバルシャッター画像にワーピングする。最後に、画像デコーダ内で対称的な一貫性制約を構築し、2枚のローリングシャッター画像の文脈的情報を効果的に統合することで、高品質なグローバルシャッター画像を回復する。公開ベンチマークから得られた合成データおよび実データを用いた広範な実験により、本手法が最先端手法を上回る優れた性能を発揮することが確認された。