要約
人間の行動を認識することは、本質的に時空間的な推論問題であり、関与する人物や物体の外見に対してある程度の不変性を備えるべきである。この仮説に基づき、本研究では行動認識に対してオブジェクト中心的なアプローチを採用する。これまでに多数の研究がこの設定について検討されてきたが、依然として以下の点が明確でない：(i) 時空間的なレイアウトに基づく精巧に設計された手法が、人間の行動をどれほど正確に認識できるか、(ii) レイアウトベースモデルと外見ベースモデルの情報は、どのように、そしていつ融合すべきか。本論文の主な焦点は、構成的／少数ショット行動認識であり、空間的推論において実証的に有効であることが示されているマルチヘッドアテンションを、時空間的なレイアウト（オブジェクトのバウンディングボックスの配置）に適用することを提唱する。本研究では、動画の外見情報をシステムに組み込むための異なる戦略を評価し、背景が複雑な行動認識のベンチマークにおいて手法を検証した。Something-ElseおよびAction Genomeデータセットにおいて、(i) 時空間的レイアウトに基づく行動認識にマルチヘッドアテンションをどのように拡張できるか、(ii) レイアウトベースモデルとの融合によって外見ベースモデルの性能をどのように向上できるか、(iii) 構成的でない背景が複雑な動画データセットにおいても、レイアウトベースと外見ベースのモデル間の融合が性能向上に寄与することを示した。