HyperAIHyperAI

Command Palette

Search for a command to run...

動的アプローチによるビデオオブジェクトセグメンテーション

Yizhuo Zhang Zhirong Wu Houwen Peng Stephen Lin

概要

半教師あり動画オブジェクトセグメンテーションは、最初のフレームにおけるマスクを与えた条件下で、動画シーケンスから対象オブジェクトを分離することを目的としている。現在の主流となる手法の多くは、光流(optical flow)やインスタンスセグメンテーションなど、他のドメインで事前に学習された追加モジュールの情報を活用しているが、その結果、他の手法と公平な比較が困難な状況に置かれている。この問題を解決するために、本研究では追加モジュールやデータセット、専用のアーキテクチャ設計を一切不要とする、シンプルでありながら強力な伝達的(transductive)な手法を提案する。本手法は、埋め込み空間における特徴類似度に基づいてピクセルラベルを前向きに伝播するアプローチを採用している。他の伝播手法とは異なり、本手法はオブジェクトの長期的外観を考慮した包括的な形で時系列情報を拡散する。さらに、追加の計算負荷が極めて少なく、約37 fpsという高速な処理速度を実現している。単一のモデルでありながら、vanillaなResNet50をバックボーンとして用いるだけで、DAVIS 2017の検証セットで全体スコア72.3、テストセットで63.1を達成した。本手法はシンプルでありながら高い性能と効率性を兼ね備えており、今後の研究を促進するための堅実なベースラインとして機能する。コードとモデルは、\url{https://github.com/microsoft/transductive-vos.pytorch} にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています