READMem: 不確実なビデオオブジェクトセグメンテーションにおける多様なメモリの堅牢な埋め込み関連付け

私たちは READMem (Robust Embedding Association for a Diverse Memory: 多様なメモリのための堅牢な埋め込み関連) を提案します。これは、制約のないビデオを処理するための半自動ビデオオブジェクトセグメンテーション（sVOS）手法向けに設計されたモジュール式フレームワークです。現代の sVOS 技術は通常、常に拡大するメモリにビデオフレームを集約し、長期的なアプリケーションでは高いハードウェアリソースが求められます。この問題に対処し、隣接フレームの情報によって引き起こされる近似したオブジェクトの重複を防ぐために、従来の方法ではフレームを保存できる頻度を制御するハイパーパラメータが導入されてきました。このパラメータは具体的なビデオ特性（例えば外観変化の速さやビデオ長さ）に応じて調整が必要であり、汎化性能が十分ではありません。そこで、新しいフレームがメモリ内容の多様性を高める場合のみ、その埋め込みをメモリに統合することを提案します。さらに、更新プロセス中にメモリに保存された埋め込みとクエリ埋め込みとの間で堅牢な関連付けを行う手法も提案しています。私たちのアプローチは冗長データの蓄積を避けることができ、これによりメモリサイズを制限し、長いビデオでの極端なメモリ要件を防ぐことができます。READMem を使用して人気のある sVOS ベースラインを拡張し、それらがこれまで長いビデオで限られた性能しか示していない問題に対処しました。私たちのアプローチは Long-time Video データセット (LV1) において競争力のある結果を得ており、短いシーケンスでの性能低下も引き起こしていません。私たちのコードは公開されています。