フローに何が含まれているか：時系列運動情報の活用による教師なし汎用イベント境界検出

ジェネリックイベント境界検出（GEBD）タスクは、動画を意味のあるイベントに分割するための、一般的で分類体系に依存しない境界を認識することを目指しています。現在の手法は通常、大量のデータで訓練されたニューラルモデルを使用しており、多大な計算能力とストレージ空間を必要としています。本研究では、GEBDに関連する2つの重要な問いを探ります：(1) パラメトリックでないアルゴリズムが教師なしニューラル手法を上回ることができるのか？(2) 運動情報のみで高性能を達成できるのか？これらの問いに基づき、動画中のジェネリックイベント境界を特定するために運動情報をアルゴリズミックに活用します。本稿では、FlowGEBDという非パラメトリックかつ教師なしのGEBD技術を提案します。当方針は光学フローを利用した2つのアルゴリズムから構成されています：(i) ピクセル追跡および (ii) フローノーマライゼーションです。Kinetics-GEBDおよびTAPOSデータセットという難易度の高いデータセットでの詳細な実験を通じて、FlowGEBDが教師なし手法の中でも新たな最先端（SOTA）であることが示されました。FlowGEBDはKinetics-GEBDデータセットにおいて[email protected]スコア0.713を達成し、教師なしベースラインと比較して絶対値で31.7%の向上を示しました。また、TAPOSバリデーションデータセットでは平均F1スコア0.623を記録しています。