3ヶ月前
メモリマッチングだけでは不十分:ビデオオブジェクトセグメンテーションにおけるメモリマッチングとデコードの共同最適化
Jintu Zheng, Yun Liang, Yuqing Zhang, Wanchao Su

要約
メモリベースの動画オブジェクトセグメンテーション手法は、メモリバンクを構築することで、長時間・大空間スケールにわたって複数のオブジェクトをモデル化し、顕著な性能を達成している。しかし、これらの手法は誤ったマッチングを克服しきれず、重要な情報を失いがちであり、結果として異なるオブジェクト間で混同が生じる問題を抱えている。本論文では、マッチング段階とデコード段階を統合的に改善することで、誤マッチング問題を緩和する有効なアプローチを提案する。マッチング段階においては、短期間メモリに対してわずかな誤差を抑制するコスト意識型メカニズムと、長期メモリに対してスケール間クロスマッチングを導入し、異なるオブジェクトスケールに対応可能な広範囲のマッチング空間を構築する。デコード段階では、マッチング段階で情報が欠落した場合にその本質的な情報を回復することを目的とした補償メカニズムを実装している。本手法は、代表的な複数ベンチマークにおいて優れた性能を達成しており、DAVIS 2016&2017 Val(92.4%&88.1%)、DAVIS 2017 Test(83.9%)、YouTubeVOS 2018&2019 Val(84.8%&84.6%)において高いスコアを記録した。