学習による適応型ワーピングを用いた現実世界におけるローリングシャッター補正

本稿では、実世界におけるローリングシャッター（RS）歪みを補正するための初のデータセット「BS-RSC」と、それに対応する補正モデルを提案する。消費者向け市場で広く用いられるCMOSセンサーを搭載したモバイルデバイスでは、動画撮影中に相対的な運動が生じるとローリングシャッター効果が発生し、画像に歪みが生じる。このような現象に対処するため、RS効果の除去技術が求められている。しかし、現行の最先端RS補正手法は、実環境における運動が多様かつモデル化が困難であるため、実際の場面では効果を発揮できない場合が多い。この課題を解決するために、本研究では実世界のRS歪みを再現した補正データセット「BS-RSC」を提案する。本データセットは、独自に設計されたビームスプリッターを用いた撮影システムにより、歪みのある実際の動画とその対応する真値（ground truth）を同時に記録することで構築された。BS-RSCには、動的シーンにおけるカメラおよび物体の多様な運動が含まれており、実用性の高い評価環境を提供する。さらに、適応的ワーピングを備えたRS補正モデルを提案する。本モデルは、予測された複数の変位場（displacement fields）に基づき、学習されたRS特徴を適応的にグローバルシャッター形式に変形する。変形された特徴は、粗い段階から細かい段階へと段階的に集約され、高品質なグローバルシャッター画像へと再構成される。実験結果から、本手法の有効性が確認され、提案するデータセットが実世界におけるRS歪み除去能力を向上させることを示した。