Command Palette
Search for a command to run...
弱教師付き時系列行動局所化のためのアクションネス不整合誘導型対照学習
弱教師付き時系列行動局所化のためのアクションネス不整合誘導型対照学習
Qinying Liu Zilei Wang Zhilin Li
概要
弱教師付き時系列行動局所化(Weakly-supervised Temporal Action Localization, WTAL)は、動画レベルのラベルのみを用いて行動インスタンスを検出することを目的としている。この課題に対処するため、最近の手法は一般的にクラス認識型ブランチとクラス無関係型ブランチからなる二本のブランチ構造を採用している。原則として、これらの二つのブランチは同一のアクションネス活性化(actionness activation)を出力すべきであるが、我々の観察では、実際には多くの不一致な活性化領域が存在することがわかった。これらの不一致領域には、行動か背景かの意味情報が曖昧な難易度の高いセグメントが含まれることが多い。本研究では、こうした不一致領域の表現学習を向上させるために、一致するセグメントを活用する新しい「アクションネス不一致誘導型コントラスト学習(Actionness Inconsistency-guided Contrastive Learning, AICL)」手法を提案する。具体的には、二つのブランチの予測を比較して一致するセグメントと不一致するセグメントを定義し、それらの間でコントラスト学習用のポジティブペアとネガティブペアを構築する。さらに、一致するサンプルが存在しないという自明なケースを回避するため、二つのブランチ間の差異を制御するためのアクション一致性制約を導入する。本手法はTHUMOS14、ActivityNet v1.2、ActivityNet v1.3の3つのデータセットにおいて広範な実験を実施し、最先端の性能を達成することが実証された。本研究のコードは、https://github.com/lizhilin-ustc/AAAI2023-AICL にて公開されている。