時空間自己注意機構モデルと時系列パッチシフトを用いた行動認識

近年、Transformerに基づく手法は2次元画像を対象とした視覚タスクにおいて著しい進展を遂げている。しかし、アクション認識のような3次元動画ベースのタスクにおいて、動画データに直接空間時系列Transformerを適用すると、パッチ数が大幅に増加し、自己注意（self-attention）計算の二次時間計算量が原因で、計算量とメモリ使用量が著しく増大するという課題が生じる。このように、動画データの3次元自己注意を効率的かつ効果的にモデル化することは、Transformerにとって大きな課題であった。本論文では、動画ベースのアクション認識を目的としたTransformerにおける効率的な3次元自己注意モデリングのため、時系列パッチシフト（Temporal Patch Shift, TPS）という新手法を提案する。TPSは、時系列方向に特定のモザイクパターンで一部のパッチをシフトすることで、従来の空間自己注意演算をわずかな追加コストで空間時系列自己注意に変換する。その結果、3次元自己注意の計算量およびメモリ使用量を、2次元自己注意とほぼ同等の水準に抑えることが可能となる。TPSはプラグアンドプレイ型のモジュールであり、既存の2次元Transformerモデルに簡単に組み込むことで、空間時系列特徴の学習を強化できる。提案手法は、Something-something V1 & V2、Diving-48、Kinetics400の各データセットにおいて、最先端技術と比較して競争力のある性能を達成しつつ、計算量およびメモリ使用量の点でははるかに効率的である。TPSのソースコードは、https://github.com/MartinXM/TPS にて公開されている。