3D CNNアーキテクチャにおけるBERTを用いたアクション認識のための遅延時系列モデリング

本研究では、行動認識において3D畳み込みと後段の時系列モデリングを組み合わせる手法を提案する。そのために、3D畳み込みアーキテクチャの最終層に用いられる従来の時系列グローバル平均プーリング（Temporal Global Average Pooling, TGAP）層を、Transformerに基づく双方向エンコーダ表現（Bidirectional Encoder Representations from Transformers, BERT）層に置き換えることで、BERTのアテンション機構を活用し、時系列情報をより効果的に捉えることを実現した。本手法は、ResNeXt、I3D、SlowFast、R(2+1)Dなど、多くの代表的な3D畳み込みアーキテクチャにおける行動認識性能を向上させることを示した。さらに、HMDB51およびUCF101データセットにおいて、それぞれトップ1精度85.10%および98.69%という、現時点での最先端（state-of-the-art）の結果を達成した。本研究のコードは公開されており、誰でも利用可能である。