HyperAIHyperAI

Command Palette

Search for a command to run...

VisEvent:フレーム流れとイベント流れの協調による信頼性の高いオブジェクト追跡

Xiao Wang Jianing Li Lin Zhu Zhipeng Zhang Zhe Chen Xin Li Yaowei Wang Yonghong Tian Feng Wu

概要

可視カメラはフレーム単位で強度画像を記録するのに対し、生物学的にインスパイアされたイベントカメラは、低遅延で非同期かつ疎なイベントストリームを生成する。実際の応用において、可視カメラはテクスチャの詳細やゆっくりとした運動をよりよく捉えることができる一方で、イベントカメラは運動ブラーに影響されず、広いダイナミックレンジを有しているため、高速運動や低照度環境下でも良好に動作する。このため、両センサは協調することで、より信頼性の高い物体追跡を実現できる。本研究では、このようなタスクに向けた現実的かつスケーラブルなデータセットが不足していることから、大規模な可視-イベントベンチマーク(通称:VisEvent)を提案する。本データセットは、低照度、高速、背景の雑多さといった厳しい条件下で撮影された820組の動画ペアから構成されており、訓練用とテスト用にそれぞれ500本と320本に分かれている。VisEventを基盤として、イベントフローをイベント画像に変換し、現在の単モダリティ追跡手法を二モダリティ版へ拡張することで、30種類以上のベースライン手法を構築した。さらに、クロスモダリティ変換器(cross-modality transformer)を提案することで、可視データとイベントデータ間の効果的な特徴融合を実現する、シンプルかつ効果的な追跡アルゴリズムを構築した。提案したVisEventデータセットおよびFE108、COESOT、および2つのシミュレートデータセット(OTB-DVSおよびVOT-DVS)における広範な実験により、本モデルの有効性が検証された。データセットおよびソースコードは以下のURLで公開されている:\url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています