イベントベース融合によるクロスモーダルアテンションを用いたモーションブラー除去

従来のフレームベースカメラは、長時間の露光時間のため、運動ブラーを避けがたくなっている。イベントカメラは、生物にインスパイアされた一種のカメラであり、高時間分解能で非同期的に明るさの変化を記録することで、露光時間内における画像劣化の有効な情報を提供する。本論文では、イベントベース画像のブラー除去問題を再考し、エンドツーエンドの二段階画像復元ネットワークに展開する。イベント情報と画像情報を効果的に統合するため、ネットワークの複数の段階に適用可能なイベント-画像クロスモーダルアテンションモジュールを設計した。これにより、イベントブランチから関連する特徴に注目し、ノイズを除去することが可能となる。さらに、画像ブラー除去に特化した新しい対称的累積イベント表現を導入するとともに、ネットワークの二段階間におけるイベントマスクゲート接続を採用することで、情報損失を回避する。データセットレベルでは、イベントベースの運動ブラー除去を促進し、実世界の困難な画像に対する評価を容易にするために、照明制御された光学実験室でイベントカメラにより撮影された「Real Event Blur（REBlur）」データセットを提案する。本研究で提案するイベント統合ネットワーク（EFNet）は、GoProデータセット（最大2.47dBの向上）およびREBlurデータセットにおいて、公開実装が可能な従来の最高性能を示した画像ベース手法およびすべてのイベントベース手法を上回り、極端にブラーの強い状況下でも優れた性能を発揮した。コードおよびREBlurデータセットは、公開予定である。