HyperAIHyperAI

Command Palette

Search for a command to run...

動画における行動セグメンテーションのための時系列可変残差ネットワーク

Peng Lei Sinisa Todorovic

概要

本論文は、動画における人間の行動の時系列分割に関するものである。我々は、動画フレームのラベル付けを目的として、複数の時系列スケールで動画区間を分析することを目的とした新たなモデル——時系列可変残差ネットワーク(Temporal Deformable Residual Network, TDRN)——を提案する。TDRNは、2つの並列な時系列ストリームを計算する。1つ目は、動画情報を完全な時系列解像度で分析する「残差ストリーム」であり、2つ目は、異なるスケールで長距離の動画情報を捉える「プーリング/アンプーリングストリーム」である。前者は局所的で細かいスケールの行動分割を促進し、後者はマルチスケールの文脈情報を用いてフレーム分類の精度を向上させる。これらの2つのストリームは、可変畳み込み(deformable convolutions)を用いた時系列残差モジュールによって計算され、全動画解像度における時系列残差によって統合される。ダンディー大学50サラダ、ジョージア工科大学エゴセントリックアクティビティ、JHU-ISIジェスチャーおよびスキル評価ワーキングセットにおける評価結果から、TDRNがフレーム単位の分割精度、セグメント編集スコア、セグメントオーバーラップF1スコアのいずれにおいても、既存の最先端手法を上回ることが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
動画における行動セグメンテーションのための時系列可変残差ネットワーク | 記事 | HyperAI超神経