Command Palette

Search for a command to run...

4ヶ月前

Flow Guided Recurrent Neural Encoder を用いた動画顕著オブジェクト検出

{Liang Lin Keze Wang Tianhao Wei Guanbin Li Yuan Xie}

Flow Guided Recurrent Neural Encoder を用いた動画顕著オブジェクト検出

要約

近年、深層畳み込みニューラルネットワークの発展により、画像のサリエンシー検出は著しい進展を遂げている。しかし、最先端の画像サリエンシー検出器を動画へ拡張することは困難である。動画では、物体やカメラの運動、および外観コントラストの急激な変化により、顕著なオブジェクト検出の性能が低下する。本論文では、動画における顕著オブジェクト検出のための高精度でエンドツーエンド学習可能なフレームワークである「フローガイド・リカレントニューラルエンコーダ(FGRNE)」を提案する。FGRNEは、各フレームの特徴量の時間的整合性を高めるために、光流(optical flow)に基づく運動情報と、LSTMネットワークによる順次的特徴進化の符号化を併用する。このアプローチは、任意のFCNベースの静的サリエンシー検出器を動画用に拡張する汎用的なフレームワークと見なすことができる。詳細な実験結果により、FGRNEの各構成要素の有効性が検証され、DAVISおよびFBMSの公開ベンチマークにおいて、本手法が最先端手法を顕著に上回ることを確認した。

ベンチマーク

ベンチマーク方法論指標
video-salient-object-detection-on-davis-2016FGRN
AVERAGE MAE: 0.043
MAX E-MEASURE: 0.917
MAX F-MEASURE: 0.783
S-Measure: 0.838
video-salient-object-detection-on-davsodFGRN
Average MAE: 0.095
S-Measure: 0.701
max E-Measure: 0.765
max F-Measure: 0.589
video-salient-object-detection-on-davsod-1FGRN
Average MAE: 0.126
S-Measure: 0.638
max E-measure: 0.700
video-salient-object-detection-on-davsod-2FGRN
Average MAE: 0.131
S-Measure: 0.608
max E-measure: 0.698
video-salient-object-detection-on-fbms-59FGRN
AVERAGE MAE: 0.088
MAX E-MEASURE: 0.863
MAX F-MEASURE: 0.767
S-Measure: 0.809
video-salient-object-detection-on-mclFGRN
AVERAGE MAE: 0.044
MAX E-MEASURE: 0.817
MAX F-MEASURE: 0.625
S-Measure: 0.709
video-salient-object-detection-on-uvsdFGRN
Average MAE: 0.042
S-Measure: 0.745
max E-measure: 0.887
video-salient-object-detection-on-visalFGRN
Average MAE: 0.045
S-Measure: 0.861
max E-measure: 0.945
video-salient-object-detection-on-vos-tFGRN
Average MAE: 0.097
S-Measure: 0.715
max E-measure: 0.797

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Flow Guided Recurrent Neural Encoder を用いた動画顕著オブジェクト検出 | 論文 | HyperAI超神経