3ヶ月前

変形可能畳み込みとLSTMベースの柔軟なイベントフレーム統合ネットワークによる動きぼけ除去

Dan Yang, Mehmet Yamac
変形可能畳み込みとLSTMベースの柔軟なイベントフレーム統合ネットワークによる動きぼけ除去
要約

イベントカメラは、従来のRGBカメラと異なり、非同期なデータシーケンスを出力する点が特徴である。RGBカメラは一定周期でフレームを撮影するのに対し、イベントカメラはシーン内の変化のみを記録するため、スパースかつ非同期なデータ出力が得られる。イベントデータにはRGBカメラの運動ブレ除去に活用可能な有用な情報が含まれているが、イベントデータと画像情報を統合する課題は依然として残っている。近年の最先端のCNNベースのブレ除去手法では、時間的に積算されたイベントデータに基づいて複数の2次元イベントフレームを生成するが、これらの手法の多くではイベントフレームの数が固定かつ事前に定められている。この制約により、特に高速移動物体が存在する場合や長時間露光が必要な状況では、時間分解能が著しく低下する。また、近年のモバイル端末に搭載されるカメラなど、現代のカメラは露出時間を動的に設定している点も考慮すべきであり、固定されたイベントフレーム数を前提としたネットワークには新たな課題をもたらす。このような課題に対処するため、可変な数のイベントフレームを柔軟に扱えるようにするため、LSTMベースのイベント特徴抽出モジュールが開発された。本モジュールを活用して、変形畳み込みとLSTMに基づく柔軟なイベントフレーム統合ネットワーク(Deformable Convolutions and LSTM-based Flexible Event Frame Fusion Network: DLEFNet)を構築した。本手法は、照明条件やシーン内の高速移動物体の有無に応じて露出時間が変動するような状況において特に有効である。合成データおよび実世界データセットにおける評価結果から、提案手法が既存の最先端のブレ除去ネットワークを上回る性能を発揮することが実証された。