深層状態空間モデルを用いた神経形状センサ信号のスケーラブルなイベント単位処理

イベントベースセンサは、感覚データを連続する時系列差分として符号化する特性と高速な応答速度を持つため、リアルタイム処理に適している。これらの特長に加え、高いダイナミックレンジといった他の有用な性質も、データをフレームベース形式に変換する際に抑制されてしまう。しかし、現在の大多数の手法は、イベントをフレームに畳み込むか、イベントを逐次的に処理する際にスケーラビリティを維持できない。本研究では、このようなセンサから発生する長時間のイベントストリームに対する逐次的モデル化のスケーリングという重要な課題に取り組む。これは、神経形態計算（neuromorphic computing）において特に重要な問題である。従来の手法は数千程度の時系列ステップまでしか処理できなかったが、本研究で提案するモデルは、現代的な再帰的深層状態空間モデル（recurrent deep state-space models）に基づき、学習および推論において数百万イベントに及ぶ長大なイベントストリームを処理可能なスケーラビリティを実現した。本モデルは、長距離依存関係の学習に適した安定したパラメータ化、シーケンス次元における並列化の可能性、非同期イベントの効果的な統合能力を活用することで、長大なイベントストリームへのスケーリングを可能にした。さらに、新たなイベント中心型技術を導入し、複数のイベントストリームベンチマークにおいて、既存の最先端手法と同等または上回る性能を達成した。スパイキング音声コマンド（Spiking Speech Commands）タスクでは、既存の最先端性能を7.7%も上回る88.4%の精度を達成した。DVS128-Gesturesデータセットにおいても、フレームや畳み込みニューラルネットワーク（CNN）を使用せずに競争力のある結果を獲得した。本研究は、初めて、完全にイベントベースの処理を実現する純粋な再帰型ネットワークを用いて、複数のイベントベースベンチマークにおいて最先端のタスク性能を達成可能であることを示した。