HyperE2VID: ハイパーネットワークを用いたイベントベースのビデオ再構成の改善

イベントベースカメラは、低遅延と高ダイナミックレンジで高速動作を捕捉する能力により、ますます注目を集めています。しかし、イベントデータの非常に疎で変動性の高い特性から、ビデオの生成は依然として困難です。本研究では、この問題に対処するために、イベントベースビデオ再構成用の動的なニューラルネットワークアーキテクチャであるHyperE2VIDを提案します。当手法では、コンテキスト融合モジュールがイベントボクセルグリッドと以前に再構成された強度画像からの情報を組み合わせることで導かれる、画素ごとの適応フィルターを生成するハイパーネットワークを使用しています。また、ネットワークをより堅牢に訓練するためにカリキュラム学習戦略も採用しています。我々が実施した包括的な実験評価では、様々なベンチマークデータセットにおいてHyperE2VIDが再構成品質において現行の最先端手法を上回るだけでなく、少ないパラメータ数、低い計算要件、そして高速な推論時間でも優れていることが示されました。