要約
高時間分解能、低遅延、高ダイナミックレンジを備えたスパイクカメラは、運動ブラーを含む高速イメージングの課題に対応できる。このカメラは各画素で光子を独立して捉え、時間情報が豊富なバイナリスパイクストリームを生成するが、画像再構成には高い技術的課題が伴う。現在のアルゴリズム、従来型および深層学習ベースのものに関わらず、豊富な時間的詳細の活用や再構成画像の細部の復元においてさらなる改善が求められている。こうした課題を克服するため、本研究ではスパイクストリームからの動的シーン再構成を目的とした新規モデル「Swin Spikeformer（SwinSF）」を提案する。SwinSFは、スパイク特徴抽出モジュール、空間時間特徴抽出モジュール、最終再構成モジュールの3つの主要構成からなる。シフトウィンドウ自己注意機構と新たに提案した時間的スパイク注意機構を統合することで、空間的および時間的ダイナミクスを包括的に捉える特徴抽出が可能となり、スパイクストリームの再構成精度と堅牢性が向上する。さらに、最新のスパイクカメラと同等の解像度を備えた新しい合成データセットを構築し、スパイクカメライメージング分野の最新技術動向に適合した有用性と適用可能性を確保した。実験結果から、提案するネットワークSwinSFは、実世界データおよび合成データを含む複数の解像度における一連のデータセットにおいて、最先端の性能を達成し、新たなベンチマークを確立した。本研究のコードおよび提案するデータセットは近日中に公開予定である。