CapsuleVOS: カプセルルーティングを使用した半教師付きビデオオブジェクトセグメンテーション

本研究では、半教師付きビデオオブジェクトセグメンテーションのカプセルベースアプローチを提案します。現在のビデオオブジェクトセグメンテーション手法はフレームベースであり、多くの場合、フレーム間の一貫性を捉えるために光学的流れ（optical flow）が必要ですが、これは計算が困難なことがあります。これに対応するため、当研究では参考フレームとセグメンテーションマスクに基づいて複数のフレームを一度にセグメント化できるビデオベースのカプセルネットワーク、CapsuleVOSを提案します。この条件付けは、注意メカニズムに基づく効率的なカプセル選択のための新規ルーティングアルゴリズムによって行われます。ビデオオブジェクトセグメンテーションにおける2つの難問に対処しています：1) 小さなオブジェクトのセグメンテーション 2) 時間経過によるオブジェクトの被塞（occlusion）。小さなオブジェクトのセグメンテーションについては、ネットワークがビデオの小さな空間領域を処理できるようにする拡大モジュール（zooming module）を使用して解決します。また、フレーム外に移動したり被塞したりした際のオブジェクト追跡に役立つ、再帰型ネットワークに基づく新規メモリモジュールも利用しています。ネットワークはエンドツーエンドで学習され、その有効性を2つのベンチマークビデオオブジェクトセグメンテーションデータセットで示しています。YouTube-VOSデータセットにおいては現行の非同期手法を上回り、競合する手法よりも実行時間がほぼ2倍速いという結果を得ています。コードは公開されており、https://github.com/KevinDuarte/CapsuleVOS からアクセスできます。