Command Palette
Search for a command to run...
高速かつ高動的範囲ビデオにおけるイベントカメラの利用
高速かつ高動的範囲ビデオにおけるイベントカメラの利用
Henri Rebecq René Ranftl Vladlen Koltun Davide Scaramuzza
概要
イベントカメラは、新しいセンサで、輝度変化を強度フレームではなく非同期の「イベント」ストリームとして報告します。これらのカメラは、従来のカメラと比較して、高い時間分解能、広い動的範囲、および運動に起因するブレのない画像という点で显著な利点を持っています。理論的にはイベントストリームが完全な視覚信号を符号化していますが、実際にはイベントストリームから強度画像を再構成することは不適切な問題となります。本研究では、手作業で設計された事前情報に依存することなく、データから直接イベントストリームから強度画像を再構成する方法を学習することを提案します。また、新たな再帰型ネットワークを提案し、このネットワークを大量のシミュレーションされたイベントデータで訓練します。訓練中には知覚損失を使用して自然画像の統計に従うように再構成を促進することを提案します。さらに我々のアプローチはカラーイベントストリームからカラー画像を合成することにも拡張されています。我々のネットワークは画質において既存の最先端の再構成手法(>20%)を超えており、リアルタイムでの快適な動作も可能です。高速現象(例:弾丸が物体に当たる様子)の高フレームレートビデオ(>5,000 フレーム/秒)を合成できることや困難な照明条件下での高動的範囲再構成が可能であることを示しています。また、我々の再構成がイベントデータの中間表現として有効であることも示しています。市販のコンピュータビジョンアルゴリズムが対象分類や視覚慣性航法などのタスクに対して我々の再構成に適用できることを示し、この戦略がイベントデータ専用に設計されたアルゴリズムよりも一貫して優れていることを確認しました。