更多信息，更多了解：共注意暹罗网络在无监督视频对象分割中的应用 See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks より多く見る、より多く知る：共注意シアムネットワークを用いた無教師ビデオオブジェクトセグメンテーション

私たちは、未監督ビデオオブジェクトセグメンテーションタスクを全体的な視点から解決するために、新しいネットワークであるCO-注意シアムネットワーク（COSNet）を紹介します。本研究では、ビデオフレーム間の内在的な相関性の重要性に焦点を当て、短期間の時間的区間における外観と動きに基づく差別的前景表現の学習に主眼を置いた最先端の深層学習ベースのソリューションをさらに改善するため、全般的な共注意メカニズムを取り入れています。私たちのネットワーク内の共注意層は、共注意応答を共同で計算し、それらを結合特徴空間に追加することで、全体的な相関性和シーンコンテキストを効率的にかつ適切に捉える段階を提供します。COSNetはビデオフレームのペアを使用して訓練されます。これにより、訓練データが自然に拡張され、学習能力が向上します。セグメンテーションステージでは、共注意モデルは複数の参照フレームを一緒に処理することで有用な情報をエンコードし、頻繁に再現される前景オブジェクトや注目すべき前景オブジェクトをより正確に推論するために活用されます。私たちは異なる共注意変種から豊富なコンテキストを抽出できる統一されたエンドツーエンドで学習可能なフレームワークを提案しています。3つの大規模ベンチマークに対する広範な実験結果は、COSNetが現在の代替手法に対して大幅に優れていることを示しています。