HyperAIHyperAI

Command Palette

Search for a command to run...

ゲート付き再帰フロープロパゲーションによる意味的ビデオセグメンテーション

David Nilsson Cristian Sminchisescu

概要

意味論的ビデオセグメンテーションは、正確なモデルを構築するために処理およびラベリングが必要な膨大なデータ量のため、困難を伴います。本論文では、ラベル付けされていないデータに含まれる情報を活用して意味論的推定を改善する能力を持つ、深層でエンドツーエンド学習可能なビデオセグメンテーション手法を提案します。当手法は、畳み込みアーキテクチャと空間時間変換器再帰層を組み合わせており、光流(Optical Flow)を利用してラベル情報の時系列的な伝播が可能であり、その局所的に推定された不確実性に基づいて適応的にゲーティングされます。光流、認識、ゲーティングされた時系列伝播モジュールは、エンドツーエンドで共同訓練することが可能です。当モデルの時系列的なゲーティング再帰光流伝播コンポーネントは、任意の静止画意味論的セグメンテーションアーキテクチャに組み込むことができ、弱教師ありのビデオ処理アーキテクチャへと転換します。我々がCityScapesおよびCamVidデータセットにおいて複数の深層アーキテクチャを使用して行った広範な実験結果から、得られたモデルはラベル付けされたフレームだけでなくラベル付けされていない時系列フレームも活用し、ビデオセグメンテーションの精度とその時系列ラベリングの一貫性を向上させることができることが示されました。これは追加の注釈コストなしで、そして僅かな追加計算量で達成されます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています