フルデュプレックス戦略によるビデオオブジェクトセグメンテーション

以前のビデオオブジェクトセグメンテーション手法は、外観と運動の間の単純な解決策に主に焦点を当てており、これらの2つの手がかり間およびその内部での特徴量協力効率が制限されていました。本研究では、この問題に対処するために、融合段階と復号段階からクロスモーダル特徴量を活用する際の運動と外観間におけるより良い相互制約スキームを考慮した新しいかつ効率的なフルデュプレックス戦略ネットワーク（FSNet）を提案します。具体的には、埋め込み部分空間間での双方向メッセージ伝播を実現するために関係クロスアテンションモジュール（RCAM）を導入しました。モデルの堅牢性を向上させ、空間時間埋め込みからの不整合な特徴量を更新するために、RCAMの後に双方向浄化モジュール（BPM）を採用しています。5つの人気ベンチマークでの広範な実験結果は、FSNetが様々な困難な状況（例：運動ブラー、遮蔽）に対して堅牢であり、ビデオオブジェクトセグメンテーションおよびビデオサリエントオブジェクト検出タスクにおいて既存の最先端手法に対して優れた性能を達成していることを示しています。本事業は公開されており、以下のURLでアクセスできます: https://dpfan.net/FSNet.