カラーイベントベース追跡の再検討：統一されたネットワーク、データセット、および評価指標

近年、カラーカメラとイベントカメラ（別名：ダイナミックビジョンセンサー、DVS）を統合して堅牢な物体追跡を実現する研究は、注目される新しいトピックとなっている。従来のカラーカメラ-イベント追跡フレームワークは、特徴抽出、融合、マッチング、相互学習などの複数の分散型モジュールを含んでおり、効率性の低さや計算複雑度の高さといった課題を抱えていた。本論文では、カラーカメラ-イベント統一追跡（CEUTrack）を実現する単段階のバックボーンネットワークを提案する。このネットワークは、イベントポイントとRGBフレームを入力として、まずイベントポイントをボクセルに変換し、それぞれのモダリティに対しテンプレート領域とサーチ領域を切り出す。その後、これらの領域をトークンに投影し、統一されたTransformerバックボーンネットワークに並列で入力する。出力された特徴量は追跡ヘッドに供給され、対象物体の位置を推定する。提案手法であるCEUTrackは構造が単純かつ効果的で、75 FPSを超える処理速度を達成し、最新のSOTA（State-of-the-Art）性能を実現した。本研究の有効性をさらに検証し、このタスクにおけるデータ不足の問題に対処するため、90種類のカテゴリと1,354本の動画シーケンスを含む汎用的かつ大規模なベンチマークデータセット「COESOT」を新たに提案する。また、評価ツールキットにおいて、ベースライン手法に対する優位性を評価する新たな評価指標「BOC（Brightness Over Confidence）」を導入した。本研究で提案する手法、データセット、および評価指標が、カラーカメラ-イベントベース追跡分野におけるより良い研究基盤の提供に貢献することを期待している。データセット、ツールキット、およびソースコードは以下のURLで公開される：\url{https://github.com/Event-AHU/COESOT}。