要約
私たちは、長時間の未編集ビデオに対するアクションセグメンテーションタスクに新しいアプローチを提案します。このアプローチは、最適輸送問題の解決に基づいています。時間的一貫性を先験的に組み込んだグロモフ・ワッサーウィン問題により、ビデオフレームとアクションクラス間のノイジーな親和性/マッチングコスト行列から時間的に一貫したセグメンテーションを復号することができます。従来の手法とは異なり、私たちの方法ではビデオ内のアクション順序を知らなくても時間的一貫性を得ることができます。さらに、得られた（融合された）グロモフ・ワッサーウィン問題は、投影ミラーデスセン트の数回の反復を使用してGPU上で効率的に解くことができます。私たちは、自己教師あり学習のために疑似ラベルを生成する非教師あり学習設定で、この手法の有効性を示しています。私たちのセグメンテーション手法と非教師あり学習パイプラインは、Breakfast（ブレックファスト）、50-Salads（50サラダ）、YouTube Instructions（ユーチューブ指示）、Desktop Assembly（デスクトップ組立）データセットで評価され、非教師ありビデオアクションセグメンテーションタスクにおいて最先端の結果を達成しました。