動的RoIアライメントによる動画オブジェクト認識

動画オブジェクト検出は、特定の動画フレームにおける外観の劣化が生じる状況下で、非常に困難な課題である。そのため、現在のフレームに、同一動画の他のフレームから時系列情報を統合するアプローチは自然な選択となる。しかし、動画検出器の最も中心的なプロセスの一つであるRoI Alignは、依然として提案（proposals）の特徴抽出を単一フレームの特徴マップから行っているため、抽出されるRoI特徴には動画全体の時系列情報が欠けている。本研究では、動画内の同一オブジェクトインスタンスの特徴がフレーム間で高次元的に類似しているという事実に着目し、特徴の類似性を活用して、現在のフレームの提案に対して他のフレームの特徴マップから特徴を抽出する新しい「時系列RoI Align（Temporal RoI Align）」演算子を提案する。この提案するTemporal RoI Align演算子は、提案に対して動画全体から時系列情報を抽出することが可能となる。本手法を単一フレームベースの動画検出器および他の最先端動画検出器に統合し、定量的な実験を通じて、本手法が一貫して顕著に性能向上をもたらすことを実証した。さらに、提案するTemporal RoI Alignは動画インスタンスセグメンテーションへの応用も可能である。実装コードは、https://github.com/open-mmlab/mmtracking にて公開されている。