要約
本稿では、時系列行動分割タスクに対して効果的なフレームワークである「アクションセグメントリファインメントフレームワーク（Action Segment Refinement Framework, ASRF）」を提案する。本モデルのアーキテクチャは、長期特徴抽出器と2つのブランチ（アクションセグメンテーションブランチ（ASB）および境界回帰ブランチ（BRB））から構成される。長期特徴抽出器は、広い時系列受容野を持つことで、両ブランチに共有される特徴を提供する。ASBは動画フレームを行動クラスに分類する一方、BRBは行動境界の確率を回帰する。BRBによって予測された行動境界は、ASBの出力を精緻化することで、顕著な性能向上をもたらす。本研究の貢献は以下の3点である。（i）時系列行動分割をフレーム単位の行動分類と行動境界回帰に分離するASRFというフレームワークを提案した。このフレームワークは、予測された行動境界を用いてフレームレベルでの行動クラス仮説を精緻化する。（ii）行動確率の遷移を滑らかにするための損失関数を提案し、時系列行動分割におけるさまざまな損失関数の組み合わせの効果を分析した。（iii）3つの挑戦的なデータセットにおいて、最先端手法を上回る性能を達成し、セグメンタルエディット距離において最大13.7%、セグメンタルF1スコアにおいて最大16.1%の向上を示した。本研究のコードは近日中に公開予定である。