BSN: 時間的アクション提案生成のための境界感度ネットワーク

時系列アクション提案生成は、重要な一方で困難な問題であり、豊富なアクション内容を持つ時系列提案は、長時間の実世界ビデオを分析する際、無関係なコンテンツの割合が高い場合に不可欠です。この問題は、方法が精密な時系列境界を持つ提案を生成するだけでなく、比較的少ない提案数で真のアクションインスタンスを高リコールと高重複率でカバーする提案を検索することも必要とします。これらの困難に対処するために、私たちは「局所から全体」の手法を採用した効果的な提案生成方法であるBoundary-Sensitive Network (BSN) を導入します。局所的には、BSN まず高い確率で時系列境界を特定し、それらの境界を直接組み合わせて提案を作成します。全体的には、Boundary-Sensitive Proposal 特徴量を使用して、提案がその領域内にアクションを含むかどうかの信頼度を評価することで提案を検索します。私たちは2つの挑戦的なデータセットであるActivityNet-1.3 およびTHUMOS14 において実験を行い、BSN が他の最先端の時系列アクション提案生成方法よりも高リコールと高時系列精度で優れていることを示しました。最後に、さらなる実験により既存のアクション分類器と組み合わせることで、私たちの方法が最先端の時系列アクション検出性能を大幅に向上させることを証明しています。