要約
ビデオクリップにおける人間の行動の認識と局在化のために、アクショントランスフォーマー（Action Transformer）モデルを導入します。このモデルでは、分類しようとしている人の周囲の空間時間的なコンテキストから特徴量を集約するため、トランスフォーマー風のアーキテクチャを再利用しています。高解像度で人物固有かつクラス非依存のクエリを使用することで、モデルは自発的に個々の人を追跡し、他の人の行動から意味論的なコンテキストを捉える能力を学習することが示されています。さらに、その注意メカニズムは手や顔に焦点を当てるよう学習しますが、これらの部位はしばしば行動の識別に重要であるにもかかわらず、明示的な監督情報（ボックスやクラスラベル以外）なしで行われます。私たちはアクショントランスフォーマーネットワークをAtomic Visual Actions (AVA) データセット上で訓練およびテストし、生のRGBフレームのみを使用して既存の最先端技術を大幅に上回る性能を達成しました。