3C-Net: カテゴリ数と中心損失を用いた弱教師ありアクション局所化

時系列アクション局所化は、現実世界に多くの応用を持つ難易度の高いコンピュータビジョンの問題です。既存の手法の多くは、アクション局所化モデルを学習するために手間のかかるフレームレベルの教師データを必要とします。本研究では、3C-Netと呼ばれるフレームワークを提案します。このフレームワークは、アクションカテゴリラベルとその対応する数（弱教師データ）のみをビデオレベルで必要とします。我々は、区別可能なアクション特徴量を学習し、局所化能力を向上させるための新しい定式化を導入しました。我々の合同定式化には3つの項が含まれています：学習されたアクション特徴量の分離性を確保するための分類項、アクション特徴量の区別可能性を向上させるために適応したマルチラベル中心損失項、および隣接するアクションシーケンスを明確にするためにカウント損失項です。これらにより、より優れた局所化が可能となります。2つの困難なベンチマークであるTHUMOS14とActivityNet 1.2において包括的な実験を行いました。我々の手法は両データセットで弱教師あり時系列アクション局所化における新たな最先端性能を達成しました。THUMOS14データセットでは、平均平均精度（mAP）に関して既存の最先端手法に対して4.6%の絶対的な改善が見られました。ソースコードはhttps://github.com/naraysa/3c-net から利用可能です。