HyperAIHyperAI

Command Palette

Search for a command to run...

CapsuleVOS: カプセルルーティングを使用した半教師付きビデオオブジェクトセグメンテーション

Kevin Duarte Yogesh S Rawat Mubarak Shah

概要

本研究では、半教師付きビデオオブジェクトセグメンテーションのカプセルベースアプローチを提案します。現在のビデオオブジェクトセグメンテーション手法はフレームベースであり、多くの場合、フレーム間の一貫性を捉えるために光学的流れ(optical flow)が必要ですが、これは計算が困難なことがあります。これに対応するため、当研究では参考フレームとセグメンテーションマスクに基づいて複数のフレームを一度にセグメント化できるビデオベースのカプセルネットワーク、CapsuleVOSを提案します。この条件付けは、注意メカニズムに基づく効率的なカプセル選択のための新規ルーティングアルゴリズムによって行われます。ビデオオブジェクトセグメンテーションにおける2つの難問に対処しています:1) 小さなオブジェクトのセグメンテーション 2) 時間経過によるオブジェクトの被塞(occlusion)。小さなオブジェクトのセグメンテーションについては、ネットワークがビデオの小さな空間領域を処理できるようにする拡大モジュール(zooming module)を使用して解決します。また、フレーム外に移動したり被塞したりした際のオブジェクト追跡に役立つ、再帰型ネットワークに基づく新規メモリモジュールも利用しています。ネットワークはエンドツーエンドで学習され、その有効性を2つのベンチマークビデオオブジェクトセグメンテーションデータセットで示しています。YouTube-VOSデータセットにおいては現行の非同期手法を上回り、競合する手法よりも実行時間がほぼ2倍速いという結果を得ています。コードは公開されており、https://github.com/KevinDuarte/CapsuleVOS からアクセスできます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
CapsuleVOS: カプセルルーティングを使用した半教師付きビデオオブジェクトセグメンテーション | 記事 | HyperAI超神経