要約
動的シーンにおける運動ブラーの復元は、物体の運動やカメラの動きなど、一つまたは複数の要因によって引き起こされるブラーに対して、非常に困難な課題である。イベントカメラは明るさの変化を低遅延で検出できるため、運動に関する情報がイベントデータに本質的に含まれており、これは標準カメラ画像のブラー除去に非常に有効な情報を提供する。しかし、物体の深度や速度などの要因により、画像全体にわたりブラーの程度が一様ではない（非均一性を持つ）ことが一般的である。本研究では、高ブラー領域に特に注目する二本のブランチ構造を持つネットワーク、Motion Aware Double Attention Network（MADANet）を提案する。このネットワークでは、まずイベントデータを用いて「高ブラー領域セグメンテーションモジュール」が、カメラに対して相対的に高速に動いている領域に対して確率的なスコアを生成する。次に、イベントデータはネットワークのメイン部分の特徴マップに注入され、各ブランチに二重の注目メカニズム（アテンション機構）が導入される。イベントデータの効果的な利用と二段階のアテンション機構により、ネットワークは非常にコンパクトな構造を実現している。実験の結果、本手法はGoProから公開されたベンチマークデータセットにおいても最先端の性能を達成しただけでなく、新たに収集した2つのデータセットにおいても同様の優れた結果を示した。特に、そのうちの1つのデータセットには実際のイベントデータが含まれており、実用性と汎用性の高さが確認された。