学習品質を意識した動的メモリのビデオオブジェクトセグメンテーションへの応用

最近、いくつかの時空間記憶に基づく手法が、中間フレームとそのマスクを記憶として保存することで、ビデオ内の対象物体のセグメンテーションに役立つことを確認しています。しかし、これらの手法は主に対象フレームと記憶フレームとの間のより良いマッチングに焦点を当てており、明示的に記憶の品質に注意を払っていません。そのため、分割マスクが不十分なフレームが記憶されやすくなり、これがセグメンテーションマスクの誤差蓄積問題につながり、さらにセグメンテーション性能に影響を与える可能性があります。また、フレーム数の増加とともに記憶フレームが線形で増加することも、モデルが長時間ビデオを処理する能力を制限しています。これを解決するために、我々は各フレームのセグメンテーション品質を評価し、正確に分割されたフレームを選択的に記憶バンクに保存して誤差蓄積問題を防ぐための品質認識型動的記憶ネットワーク（Quality-aware Dynamic Memory Network: QDMN）を提案します。次に、セグメンテーション品質と時間的一貫性を組み合わせて記憶バンクを動的に更新することで、モデルの実用性を向上させます。特別な工夫なしで、我々のQDMNはDAVISおよびYouTube-VOSベンチマークにおいて新しい最先端の性能を達成しました。さらに、広範な実験により提案した品質評価モジュール（Quality Assessment Module: QAM）が一般的なプラグインとしてメモリベース手法に適用できること、そして性能が大幅に向上することを示しています。当方のソースコードはhttps://github.com/workforai/QDMN で公開されています。