HR-Pro：階層的信頼性伝播を用いたポイント監視型時系列行動局所化

ポイント監視型時系列行動局所化（Point-supervised Temporal Action Localization: PSTAL）は、ラベル効率の高い学習を実現する新たな研究分野として注目されている。しかし、現行の手法は主にスニペットレベルまたはインスタンスレベルでのネットワーク最適化に注力しており、両レベルにおけるポイントアノテーションの内在的な信頼性を十分に考慮していない。本論文では、階層的信頼性伝播（Hierarchical Reliability Propagation: HR-Pro）フレームワークを提案する。このフレームワークは、スニペットレベルの識別学習とインスタンスレベルの完全性学習という、信頼性に配慮した2段階構造から構成され、ポイントアノテーションにおける高信頼度の手がかりを効率的に伝播することを目的としている。スニペットレベルの学習では、各クラスの信頼性の高いスニペットプロトタイプを保存するオンライン更新型メモリを導入し、信頼性を考慮したアテンションブロック（Reliability-aware Attention Block）を用いて、動画内および動画間のスニペット間依存関係を捉えることで、より識別力が高く堅牢なスニペット表現を獲得する。インスタンスレベルの学習では、スニペットとインスタンスを結びつけるためのポイントベースの提案生成手法を提案し、高信頼度の提案を生成することで、インスタンスレベルでのさらなる最適化を可能にする。多段階の信頼性を考慮した学習により、予測提案の信頼度スコアがより信頼性が高く、時系列境界もより正確になる。本手法は、THUMOS14を含む複数の困難なベンチマークにおいて最先端の性能を達成し、特にTHUMOS14では60.3%という顕著な平均mAPを達成した。注目すべきは、HR-Proはこれまでのすべてのポイント監視型手法を大きく上回り、さらには複数の競争力のある完全監視型手法をも凌駕している点である。コードは https://github.com/pipixin321/HR-Pro にて公開予定である。