豊かな意味論的関係は、さまざまな視覚認識問題において重要です。具体的な例として、グループ活動認識では、シーン内の人物の集合体における相互作用と相対的な空間関係が含まれます。最先端の認識手法は、画像を解釈するための非常に効果的で複雑な分類器を学習する深層学習アプローチを中心に展開されています。しかし、これらの手法によって出力される比較的低レベルの概念を、より高レベルの構成的なシーンに解釈するには依然として課題があります。グラフィカルモデルはこのタスクのために標準的なツールです。本稿では、グラフィカルモデルと深層ニューラルネットワークを統合した共同フレームワークを提案します。従来の推論方法ではなく、リカレントニューラルネットワークによってモデル化された逐次推論を使用します。さらに、ノード間のエッジにゲートを課すことにより、適切な推論構造を学習することができます。グループ活動認識に関する実験結果は、このモデルが高度に構造化された学習タスクに対処する潜在能力を示しています。