要約
コムス（CMOS）カメラの普及に伴い、ローリングシャッター補正とデブラーイングを統合したRSCD（Joint Rolling Shutter Correction and Deblurring）技術は極めて重要である。しかし、現在の手法は依然として従来のエネルギー最適化に基づいており、静止シーンを想定した開発にとどまっている。実世界におけるRSCD問題に対応するための学習ベースのアプローチを実現するため、本研究では動的シーンにおける自己運動（ego-motion）と物体運動を含む、初めてのデータセット「BS-RSCD」を提供する。このデータセットは、ビームスプリッターを用いた取得システムにより、歪みとブレを伴う実際の動画と、それに対応する真値（ground truth）を同時に記録することで構築された。既存の個別的なローリングシャッター補正（RSC）またはグローバルシャッターのデブラーイング（GSD）手法をRSCDに直接適用すると、ネットワークアーキテクチャに内在する欠点により望ましくない結果が生じる。この問題を解決するため、本研究ではRSCDに向けた初めての学習ベースのモデル「JCD」を提案する。本モデルの核心的なアイデアは、変位補償のための双方向ワーピングストリームを採用しつつ、歪みのないデブラーイングストリームを維持して細部の復元を図ることにある。実験結果から、JCDは現実的なRSCDデータセット（BS-RSCD）および合成RSCデータセット（Fastec-RS）において、最先端の性能を達成した。本研究で提供するデータセットおよびコードは、https://github.com/zzh-tech/RSCD にて公開されている。