要約
オンライン半教師あり動画オブジェクトセグメンテーションにおける誤差伝播は、一般的かつ重要な問題である。本研究では、信頼性の高い補正メカニズムを用いて誤差伝播を抑制することを目的とする。重要な洞察は、信頼できるキュー（cues）に基づき、従来のマスク伝播プロセスから補正を分離することにある。そこで、局所的な時系列相関と信頼できる参照フレームに基づいて、それぞれチャネル単位での再校正を行う「伝播モジュレータ」と「補正モジュレータ」の2種類のモジュレータを導入した。具体的には、これらモジュレータをカスケード型の伝播-補正スキームで構成することで、伝播モジュレータが補正モジュレータの効果を上書きするのを回避した。確かに、真値ラベルを持つ参照フレームは信頼できる情報を提供するが、ターゲットフレームと大きく異なる場合があり、不確実または不完全な相関関係を導入する可能性がある。これを補うために、維持されたプールに信頼できる特徴パッチを追加する補完手法を採用し、モジュレータにより包括的かつ表現力豊かなオブジェクト表現を提供した。さらに、信頼性フィルタを設計し、信頼できるパッチを抽出して次のフレームへ伝達する仕組みを実装した。本モデルはYouTube-VOS18/19およびDAVIS17-Val/Testベンチマークにおいて、最先端の性能を達成した。広範な実験により、信頼できるガイドラインを効果的に活用することで、補正メカニズムが顕著な性能向上をもたらすことが示された。コードは以下のURLで公開されている：https://github.com/JerryX1110/RPCMVOS。