時間的に重み付けされた階層的クラスタリングによる教師なしアクションセグメンテーション

アクションセグメンテーションとは、ビデオ内の意味的に一貫した視覚的概念の境界を推論することを指し、多くのビデオ理解タスクにおいて重要な要件となっています。これらのビデオ理解タスクに対して、教師ありアプローチは有望な性能を達成していますが、詳細なフレームレベルの注釈が必要であり、大量のデータを必要とします。本稿では、学習を必要としない完全自動かつ教師なしのアクションセグメンテーション手法を提案します。提案手法は、時間的な重み付けを行った階層的クラスタリングアルゴリズムで、ビデオ内の意味的に一貫したフレームをグループ化することができます。主な発見は、時間進行を考慮に入れて1-最近傍グラフでビデオを表現することで、意味的にも時間的にも一貫したフレームのクラスタを作成するのに十分であるということです。各クラスタはビデオ内の特定のアクションを表す可能性があります。さらに、5つの困難なアクションセグメンテーションデータセットにおいて既存の教師なし手法よりも大幅に性能が向上することを示し、強力な教師なし基準モデルを確立しました。当該コードは以下のURLから入手可能です: https://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCH