フレーム領域とイベント領域を統合的に活用したオブジェクト追跡

従来のフレームベースカメラと生物起源のイベントベースカメラの相補性に着目し、フレーム領域とイベント領域からの視覚的特徴を統合するマルチモーダルアプローチを提案する。本手法は、特に高ダイナミックレンジ、低照度、高速運動物体を含む劣化環境下において、単一オブジェクト追跡の性能を向上させることを目的としている。提案手法は、両領域から得られる意味のある情報を効果的かつ適応的に統合できる。本手法の有効性は、自己領域およびクロスドメイン注意機構を活用して特徴を強化する新たなクロスドメイン注意スキームにより実現され、適応性は特別に設計された重み付けスキームによって保証される。このスキームにより、二つの領域の貢献度を動的に調整可能となる。イベントベースの視覚的特徴を単一オブジェクト追跡に活用するため、大規模なフレーム・イベントベースデータセットを構築し、これを用いて新たなフレーム-イベント統合型モデルの学習を実施した。広範な実験の結果、本手法は代表的な成功確率および精度において、最先端のフレームベース追跡手法をそれぞれ10.4%および11.9%以上上回ることが明らかになった。さらに、本手法の各主要構成要素の有効性は、包括的なアブレーションスタディによって裏付けられている。