Reiche semantische Beziehungen sind in einer Vielzahl von visuellen Erkennungsproblemen von Bedeutung. Als konkretes Beispiel beinhaltet die Erkennung von Gruppenaktivitäten die Interaktionen und relativen räumlichen Beziehungen einer Menge von Personen in einer Szene. Die neuesten Erkennungsmethoden konzentrieren sich auf tiefes Lernen zur Ausbildung hochwirksamer, komplexer Klassifizierer für die Interpretation von Bildern. Dennoch bleibt es eine Herausforderung, die vergleichsweise niedrigstufigen Konzepte, die durch diese Methoden ausgegeben werden, zu verwenden, um höhere, zusammengesetzte Szenen zu interpretieren. Grafische Modelle sind ein Standardwerkzeug für diese Aufgabe. In dieser Arbeit schlagen wir eine Methode vor, um grafische Modelle und tiefe Neuronale Netze in einen gemeinsamen Rahmen zu integrieren. Anstelle eines traditionellen Inferenzverfahrens nutzen wir eine sequentielle Inferenz, die durch ein rekurrentes neuronales Netz modelliert wird. Darüber hinaus kann die geeignete Struktur für das Inferenzverfahren durch das Setzen von Schaltern auf den Kanten zwischen den Knoten gelernt werden. Empirische Ergebnisse bei der Erkennung von Gruppenaktivitäten zeigen das Potenzial dieses Modells, hochstrukturierte Lernaufgaben zu bewältigen.