効率的なVideo Object Segmentationのための改善されたメモリカバレッジを備えた空間時間ネットワークの再考

本稿では、動画オブジェクトセグメンテーションの文脈において、空間時間的対応関係をモデル化するシンプルでありながら効果的なアプローチを提示する。既存の多くの方針とは異なり、各オブジェクトに対してマスク特徴を再符号化することなく、フレーム間を直接対応づけることで、高効率かつ堅牢なフレームワークを構築している。この対応関係を活用し、現在のクエリフレーム内の各ノードは、過去の特徴を関連性に基づいて集約することで推論される。我々はこの集約プロセスを投票問題として定式化し、従来の内積類似度が、固定された少数のメモリノードがクエリにかかわらず投票を独占するなど、メモリの有効活用が不十分であることを明らかにした。この現象を踏まえ、類似度計算に負の二乗ユークリッド距離を採用することを提案する。実験により、すべてのメモリノードが貢献の機会を持つことが確認され、多様な投票がメモリ効率および推論精度の両面で有益であることが実証された。対応ネットワークと多様な投票の連携は極めて効果的であり、DAVISおよびYouTubeVOSの両データセットで新たなSOTA（最良の結果）を達成するとともに、特に装飾的な追加処理を施さずに、複数オブジェクトの処理において20フレーム/秒以上という著しく高速な実行速度を実現した。