要約
最近、トリミングされていない動画における行動の時間的な検出とセグメンテーションのタスクが注目を集めています。この文脈において、訓練用アノテーションを作成するために行動境界を定義しラベリングする必要があることが問題となっています。これは非常に時間とコストがかかります。この課題に対処するため、私たちはトリミングされていない動画シーケンスから行動クラスを学習する教師なしアプローチを提案します。そのためには、フレーム単位の特徴量の連続的な時間埋め込みを使用して、活動の逐次的な性質を利用します。埋め込みによって生成された潜在空間に基づいて、全動画にわたる意味的に有意な行動クラスに対応する時間セグメントのクラスタを識別します。本アプローチは、ブレックファストデータセット、YouTube Instructions（ユーチューブ・インストラクションズ）、および50Saladsデータセットという3つの難易度の高いデータセットで評価されました。これまでの研究では動画が同じ高レベルの活動を含むと仮定していましたが、私たちはさらに提案手法が動画の内容が未知であるより一般的な設定にも適用可能であることを示しています。