SAMWISE: テキスト駆動型ビデオセグメンテーションに知恵を注入するSAM2

参照ビデオオブジェクトセグメンテーション（RVOS）は、自然言語表現を用いてビデオクリップ内のオブジェクトをセグメンテーションします。既存の手法は、独立した短いクリップでの推論に制限されるか、または全体のビデオをオフラインで処理するため、ストリーミング環境での応用が制約されます。本研究では、これらの制限を超えることを目指し、過去のフレームからのコンテキスト情報を保持しながらストリーミングのようなシナリオで効果的に動作するRVOS手法を開発しました。Segment-Anything 2 (SAM2) モデルを基盤としています。このモデルは堅牢なセグメンテーションと追跡機能を提供し、ストリーミング処理に適しています。我々はSAM2をより賢くするために、自然言語理解と特徴抽出段階での明示的な時間的モデリングの能力を付与しました。これにより重みの微調整を行うことなく、またモダリティ間相互作用を外部モデルに委託することなく実現しています。そのために、時間的情報とマルチモーダルな手がかりを特徴抽出プロセスに注入する新しいアダプタモジュールを導入しました。さらに、SAM2における追跡バイアスの現象を明らかにし、現在のフレーム特徴がキャプションとより一致する新しいオブジェクトを示唆する場合に追跡焦点を調整する学習可能なモジュールを提案しました。我々が提案する手法であるSAMWISEは、わずか5Mパラメータ未満の負荷増加で様々なベンチマークにおいて最先端の性能を達成しています。コードはhttps://github.com/ClaudiaCuttano/SAMWISE から入手可能です。