HyperAIHyperAI

Command Palette

Search for a command to run...

時空間CNNを用いた動画オブジェクトセグメンテーション

Kai Xu Longyin Wen Guorong Li Liefeng Bo Qingming Huang

概要

本論文では、VOS(Video Object Segmentation)向けの統一されたエンドツーエンド学習可能な時空間CNNモデルを提案します。このモデルは、時間的一貫性ブランチと空間セグメンテーションブランチの2つのブランチから構成されています。特に、時間的一貫性ブランチは無ラベルのビデオデータから敵対的な方法で事前学習され、ビデオシーケンスの動的な外観と運動の手がかりを捉えて物体セグメンテーションをガイドするように設計されています。空間セグメンテーションブランチは、学習した外観と運動の手がかりに基づいて物体を正確にセグメントすることに焦点を当てています。正確なセグメンテーション結果を得るため、粗い段階から細かい段階へと順次適用される注意モジュールを多尺度特徴マップに対して設計し、それらを連結して最終予測を生成します。これにより、空間セグメンテーションブランチは徐々に物体領域に集中することが強制されます。これらの2つのブランチは、エンドツーエンドでビデオセグメンテーションシーケンスに対して共同ファインチューニングされます。DAVIS-2016, DAVIS-2017 および Youtube-Object の3つの課題のあるデータセット上で複数の実験を行った結果、当手法が最先端技術に対して優れた性能を達成していることを示しています。コードは https://github.com/longyin880815/STCNN で入手可能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています