位置と目標の一貫性を学習して、メモリベースのビデオオブジェクトセグメンテーションを行う

本論文では、半教師付きビデオオブジェクトセグメンテーション（VOS）の問題を研究しています。多くの研究が示しているように、メモリベースのアプローチはビデオオブジェクトセグメンテーションに効果的であることが確認されています。これらのアプローチは主に空間的にも時間的にもピクセルレベルでのマッチングに基づいています。しかし、メモリベースのアプローチの主要な欠点は、フレーム間の順序性を考慮していないことと、ターゲットから得られるオブジェクトレベルの知識を利用していないことです。この制約に対処するため、我々は位置とターゲットの一貫性学習フレームワーク（Learn position and target Consistency framework for Memory-based video object segmentation, LCM）を提案します。LCMはメモリ機構を用いてグローバルにピクセルを検索し、同時に位置の一貫性を学習することでより信頼性のあるセグメンテーションを実現します。学習された位置応答は、ターゲットと干渉物との区別を向上させます。さらに、LCMはターゲットから導き出されるオブジェクトレベルの関係性を取り入れることで、ターゲットの一貫性を維持し、エラードリフトに対する堅牢性を高めています。実験結果によると、我々のLCMはDAVISおよびYouTube-VOSベンチマークにおいて最先端の性能を達成しており、DAVIS 2020チャレンジにおける半教師付きVOSタスクで1位となっています。