要約
ビデオベースの動作セグメンテーションにおける主流のパラダイムは、2つのステップから構成されています。まず、各フレームに対して、Dense Trajectories（密集軌跡）やConvolutional Neural Network（CNN、畳み込みニューラルネットワーク）を使用して、局所的な時空間情報を符号化する低レベルの特徴量を計算します。次に、これらの特徴量をRecurrent Neural Network（RNN、再帰型ニューラルネットワーク）などの分類器に入力し、高レベルの時間的関係を捉えます。この方法はしばしば効果的ですが、2つの異なるモデルを指定する必要があり、それぞれが独自の複雑さを持っているため、より微妙な長距離時空間関係を捉えることが困難です。我々は階層的に低レベル、中間レベル、高レベルの時間スケールでの関係性を捉える統合アプローチを提案します。本研究で示したTemporal Convolutional Network（TCN、時系列畳み込みネットワーク）により実現されるこのモデルは、3つの公開された動作セグメンテーションデータセットにおいてビデオやセンサデータを使用して優れたまたは競合する性能を達成しており、RNNの訓練にかかる時間の一部で訓練することができます。