17日前
トランスフォーマーを用いたヒューニンググループの手がかりによる社会的グループ行動認識
Masato Tamura, Rahul Vishwakarma, Ravigopal Vennelakanti

要約
本稿では、社会的グループ行動認識のための新しい枠組みを提案する。グループ行動認識の拡張課題としての社会的グループ行動認識は、複数の部分グループ行動の認識とグループメンバーの特定を要する。既存の大多数の手法は、領域特徴を精緻化した後、それらを活動特徴に要約するアプローチを採用している。このようなヒューリスティックな特徴設計は、人物の局所化が不完全な場合に特徴の有効性が低下しやすく、またシーンの文脈の重要性を無視するという欠点を有する。さらに、領域特徴は、領域内の人物に由来する特徴が支配的になり、意味論的に異なる場合があるため、グループメンバーの特定には最適ではない。これらの課題を克服するため、本研究ではトランスフォーマーにおけるアテンションモジュールを活用し、効果的な社会的グループ特徴を生成する手法を提案する。本手法は、アテンションモジュールが社会的グループ行動に関連する特徴を識別し、集約することで、各社会的グループに対応する効果的な特徴を生成するように設計されている。グループメンバーの情報は特徴に埋め込まれており、これによりフィードフォワードネットワークによってアクセス可能となる。フィードフォワードネットワークの出力はグループを極めて簡潔に表現するため、グループと個人の間で単純なハンガリアンマッチングによりグループメンバーを識別することが可能となる。実験結果から、本手法はVolleyballおよびCollective Activityデータセットにおいて、最先端手法を上回る性能を示した。