要約
本稿では、ローリングシャッター効果の補正を目的とした新規なネットワークを提案する。本ネットワークは、連続する2枚のローリングシャッター画像を入力として、最新のフレームに対応するグローバルシャッター画像を推定する。ローリングシャッター画像からその対応するグローバルシャッター画像への密な変位場は、運動推定ネットワークにより推定される。その後、学習されたローリングシャッター画像の特徴表現は、可微分な前方ワーピングブロックを用いて、その変位場によりグローバルシャッター表現に変換される。変換された特徴表現を基に、画像デコーダーがグローバルシャッター画像を復元する。本ネットワークはエンド・ツー・エンドで訓練可能であり、教師信号としてグローバルシャッター画像のみを必要とする。公開データセットが存在しないため、本研究では2つの大規模データセットであるCarla-RSデータセットおよびFastec-RSデータセットを新たに提案する。実験結果により、本手法が最先端手法を上回ることを示した。本研究のコードおよびデータセットは、https://github.com/ethliup/DeepUnrollNet にて公開している。