要約
複雑で動的なシーンを描写した画像の自動解析は、全体的な状況の高レベルな理解と、参加するエンティティおよびそれらの相互作用の詳細な識別を必要とするため、挑戦的です。現在のアプローチでは、シチュエーション認識や人間-人間、人間-物体相互作用の検出などのサブタスクに特化した異なる手法が使用されています。しかし、最近の画像理解における進歩は、多くの場合、ウェブスケールの視覚言語（V&L）表現を活用してタスク固有のエンジニアリングを省略しています。本研究では、現代の冷凍されたV&L表現から知識を活用することにより、動的シーン理解タスク向けのフレームワークを提案します。これらのタスクを一般的な方法で枠組み化し、構造化テキストの予測と解析として扱うか、または既存モデルへの入力に表現を直接連結することで、最小限の学習可能なパラメータを使用しつつ最先端の結果を得ています。さらに、これらの表現における動的知識の分析結果は、最近開発されたより強力な表現が動的シーンセマンティクスを効果的に符号化していることを示しており、このアプローチが新たに可能となっています。