イベントカメラのシミュレーションと実際のギャップを縮小する

イベントカメラは、非同期で画素ごとの輝度変化（「イベント」と呼ばれる）を報告する革新的なセンサであり、他のどのセンサにも匹敵しない低遅延性を特徴としています。これにより、従来のカメラでは処理が困難な高速かつ高ダイナミックレンジのシーンに最適です。最近の研究では、イベントを使用したビデオ再構成や光学フローのための畳み込みニューラルネットワーク（CNNs）による印象的な結果が示されています。本稿では、イベントベースのCNNの学習データを改善する戦略を提示し、既存の最先端（SOTA）ビデオ再構成ネットワークを当方の方法で再学習することで20-40%の性能向上を達成し、光学フローネットワークでは最大15%の向上を実現しました。イベントベースのビデオ再構成評価における課題の一つは、既存データセットに質の高い基準画像が不足していることです。この問題に対処するために、DAVIS240Cから取得された露出が適切でモーションブラーが最小限に抑えられたイベントと基準フレームを含む新しい「High Quality Frames (HQF)」データセットを紹介します。当方は、HQFおよびいくつかの既存的主要なイベントカメラデータセット上で当方的方法を評価しました。