コンテキスト認識ビデオインスタンスセグメンテーション

本論文では、Context-Aware Video Instance Segmentation (CAVIS) という新しいフレームワークを紹介します。このフレームワークは、各オブジェクトの周辺にあるコンテキスト情報を統合することで、インスタンスの関連付けを強化することを目的としています。この情報の効率的な抽出と活用のために、Context-Aware Instance Tracker (CAIT) を提案します。CAITは、インスタンスの周囲にあるコンテキストデータと主要なインスタンス特徴量を統合し、追跡精度を向上させます。さらに、Prototypical Cross-frame Contrastive (PCC) 損失関数を導入します。PCC損失関数は、フレーム間でのオブジェクトレベルの特徴量の一貫性を確保し、これによりインスタンスマッチング精度が大幅に向上します。CAVISは、ビデオインスタンスセグメンテーション (VIS) およびビデオパノプティックセグメンテーション (VPS) のすべてのベンチマークデータセットで最先端の手法を超える性能を示しています。特に、非常に難易度が高いことで知られるOVISデータセットにおいて、当方法は優れた結果を達成しています。