効率的な地域メモリネットワークによるビデオオブジェクトセグメンテーション

最近、いくつかの時空記憶に基づくネットワークが、過去のフレームから得られる物体の手がかり（例えば、ビデオフレームやセグメンテーションされた物体マスク）が現在のフレームでの物体セグメンテーションに有用であることを示しています。しかし、これらの手法は現在と過去のフレーム間で全体的な対応付けを行うことで記憶情報を利用しており、これにより類似した物体との不一致や高い計算複雑さが生じています。これらの問題を解決するために、我々は半教師付きVOS（Video Object Segmentation）向けに新しい局所対局所のマッチングソリューション、すなわち地域記憶ネットワーク（Regional Memory Network: RMNet）を提案します。RMNetでは、過去のフレームで目標物体が現れる局所領域を記憶することで精密な地域記憶を構築します。現在のクエリフレームに対しては、前フレームから推定される光学フローに基づいてクエリ領域を追跡し予測します。提案する局所対局所のマッチングは、記憶およびクエリフレームにおける類似した物体の曖昧さを効果的に軽減し、地域記憶からクエリ領域へ情報を効率的かつ効果的に伝達することができます。実験結果は、提案するRMNetがDAVISおよびYouTube-VOSデータセットにおいて最先端手法と比較して優れた性能を発揮することを示しています。