要約
ニューロモルフィックなイベントカメラは、非同期的かつスパースなイベント信号を生成することで、シーンの潜在的な幾何構造および運動の手がかりを効率的に検出できる。しかし、イベント信号の不規則な配置により、その豊富な空間時間情報を認識タスクに活用する方法は依然として大きな課題である。従来の手法は、イベントを密な画像のような表現や点列（point-series）表現として扱う傾向があるが、これらはイベントデータのスパース性を著しく損なうか、あるいは堅牢な空間的特徴を適切に符号化できないという問題を抱えている。本研究では、イベントデータの内在的なスパース性を最大限に活かしつつ、空間時間情報を調和的に扱うため、2D-1Tイベントクラウドシーケンス（2D-1T ECS）というコンパクトなイベント表現を提案する。この表現を、物体分類および動作認識の両タスクに対応可能な新たな軽量な空間時間学習フレームワーク（ECSNet）と組み合わせる。本フレームワークの核となるのは、階層的な空間関係モジュールである。特に設計された表面イベントに基づくサンプリングユニットと局所イベント正規化ユニットを搭載することで、イベント間の関係性を強化し、2Dイベントクラウドから堅牢な幾何特徴を学習する。さらに、1Tクラウドシーケンスに伴って変化する長期的な時間的文脈を効率的に捉えるための運動注意モジュールを提案する。実験結果によれば、本フレームワークは、既存の最先端手法と同等、あるいはそれ以上の性能を達成している。特に重要な点として、本手法はイベントデータのスパース性と良好に連携し、複雑な前処理を必要とせず、低計算コストかつ顕著な推論速度を実現している。