VisEvent：フレーム流れとイベント流れの協調による信頼性の高いオブジェクト追跡

可視カメラはフレーム単位で強度画像を記録するのに対し、生物学的にインスパイアされたイベントカメラは、低遅延で非同期かつ疎なイベントストリームを生成する。実際の応用において、可視カメラはテクスチャの詳細やゆっくりとした運動をよりよく捉えることができる一方で、イベントカメラは運動ブラーに影響されず、広いダイナミックレンジを有しているため、高速運動や低照度環境下でも良好に動作する。このため、両センサは協調することで、より信頼性の高い物体追跡を実現できる。本研究では、このようなタスクに向けた現実的かつスケーラブルなデータセットが不足していることから、大規模な可視-イベントベンチマーク（通称：VisEvent）を提案する。本データセットは、低照度、高速、背景の雑多さといった厳しい条件下で撮影された820組の動画ペアから構成されており、訓練用とテスト用にそれぞれ500本と320本に分かれている。VisEventを基盤として、イベントフローをイベント画像に変換し、現在の単モダリティ追跡手法を二モダリティ版へ拡張することで、30種類以上のベースライン手法を構築した。さらに、クロスモダリティ変換器（cross-modality transformer）を提案することで、可視データとイベントデータ間の効果的な特徴融合を実現する、シンプルかつ効果的な追跡アルゴリズムを構築した。提案したVisEventデータセットおよびFE108、COESOT、および2つのシミュレートデータセット（OTB-DVSおよびVOT-DVS）における広範な実験により、本モデルの有効性が検証された。データセットおよびソースコードは以下のURLで公開されている：\url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}。