ALERT-Transformer：リアルタイムイベント駆動型空間時系列データにおける非同期および同期機械学習を橋渡しする手法

イベントベースセンサから生成される連続的な超疎な時空間データに対して、従来の密度型機械学習モデルによる処理を可能にするために、本研究では非同期感知と同期処理を組み合わせた新しいハイブリッドパイプラインを提案する。本パイプラインは以下の3つのアイデアを統合している：(1) PointNetモデルに基づく埋め込み機構——ALERTモジュール——は漏れ（leakage）機構により、新しいイベントを継続的に統合しつつ、古いイベントを適切に除外できる。(2) 柔軟な読み出し機構により、任意の下流モデルに、任意のサンプリングレートで常に最新の特徴量を供給可能となる。(3) Vision Transformerに着想を得たパッチベースのアプローチを用いて、入力の疎性を効果的に活用し、処理効率を最適化する。これらの埋め込みは、物体認識およびジェスチャー認識を目的に訓練されたTransformerモデルによって処理される。本手法により、競合手法よりも低レイテンシで最先端の性能を達成した。また、本非同期モデルが任意の所望のサンプリングレートで動作可能であることも実証した。