要約
時系列畳み込みネットワーク（Temporal Convolutional Networks: TCNs）は、時系列動画セグメンテーションにおいて広く用いられるアーキテクチャである。しかし、TCNは過剰セグメンテーションの誤差に悩まされやすく、滑らかさと時系列的一貫性を確保するためには追加の精緻化モジュールが必要となる。本研究では、シーケンスの断片化問題に対処するため、新たな時系列エンコーダ・デコーダ構造を提案する。特に、デコーダは複数の時系列解像度を暗黙的にアンサンブルする粗いものから細かいものへの構造を採用している。このアンサンブルにより、より滑らかで精度が高く、より適切にキャリブレーションされたセグメンテーションが得られ、追加の精緻化モジュールの導入を回避できる。さらに、変動する時系列解像度に対するロバスト性を高めるため、マルチ解像度特徴拡張戦略を訓練プロセスに組み込む。最後に、本アーキテクチャの性能をさらに向上させ、時系列的一貫性を促進するため、動画レベルでの誤分類をペナルティとするアクション損失関数を提案する。実験の結果、本研究で提案する単独のアーキテクチャに加え、新規の特徴拡張戦略および新しい損失関数を組み合わせた手法が、3つの時系列動画セグメンテーションベンチマークにおいて、最先端の手法を上回る性能を達成した。