自動車用イベントデータにおけるスパikingニューラルネットワークを用いたオブジェクト検出

自動車向け組み込みアルゴリズムは、レイテンシ、精度、電力消費の面で極めて厳しい制約を受けています。本研究では、イベントカメラから得られるデータを直接用いてスパikingニューラルネットワーク（SNN）を学習することで、高速かつ効率的な自動車向け組み込みアプリケーションの設計を提案します。実際、SNNはニューロンが離散的かつ非同期なスパイク信号を用いて通信するという、生物学的により現実的なニューラルネットワークであり、自然にエネルギー効率的かつハードウェアに優しい動作モードを備えています。一方、イベントデータは空間的・時間的にバイナリかつ疎であるため、SNNにとって理想的な入力形式です。しかし、これまでのところ、SNNの性能は、制御されていない環境における複雑な物体の検出といった自動車分野の実世界課題に対して十分ではなかったのが実情です。この課題に対処するため、本研究ではスパイクバックプロパゲーションに関する最新の進展――仮想勾配学習（surrogate gradient learning）、パラメトリックLIF、SpikingJellyフレームワーク――を活用するとともに、独自に開発した「ボクセルキューブ（voxel cube）」イベント符号化法を導入し、SqueezeNet、VGG、MobileNet、DenseNetといった代表的な深層学習ネットワークに基づく4種類のSNNを学習しました。その結果、従来の文献で想定されるSNNの規模および複雑さを大幅に拡大することに成功しました。本論文では、2つの自動車用イベントデータセットを用いた実験を行い、SNNにおける分類性能について、新たな最先端（state-of-the-art）の成果を達成しました。これらの結果を基に、SNNとSSD（Single Shot Detector）を統合することで、複雑なGEN1 Automotive Detectionイベントデータセット上で物体検出を実行可能な、世界初のスパikingニューラルネットワークの実現に成功しました。