SWEM: 実時間ビデオオブジェクトセグメンテーションへのシーケンシャルウェイテッド期待最大化法の応用

マッチングベースの手法、特に時空記憶に基づく手法は、半教師付きビデオオブジェクトセグメンテーション（VOS）において他のソリューションを大きく上回っています。しかし、継続的に増加し冗長となるテンプレート特徴量は推論効率を低下させています。この問題を緩和するため、我々は新しいシーケンシャルウェイテッド期待最大化（SWEM）ネットワークを提案します。これはメモリ特徴量の冗長性を大幅に削減することを目指しています。既存の手法がフレーム間での特徴量の冗長性のみを検出するのに対し、SWEMは逐次ウェイテッドEMアルゴリズムを利用してフレーム内およびフレーム間の類似した特徴量を統合します。さらに、フレーム特徴量に対する適応的な重み付けにより、SWEMは難易度の高いサンプルを表現する柔軟性を持ち、テンプレートの識別力を向上させます。また、提案手法はメモリ内のテンプレート特徴量数を一定に保つことで、VOSシステムの推論複雑さを安定させることが可能です。DAVISやYouTube-VOSなどの一般的なデータセットにおける広範な実験により、SWEMの高い効率性（36 FPS）と高性能（DAVIS 2017検証データセットで84.3% $\mathcal{J}\&\mathcal{F}$）が確認されました。コードは以下のURLから入手可能です: https://github.com/lmm077/SWEM.