Lernen von Schauspieler-Beziehungsgraphen für die Erkennung von Gruppenaktivitäten

Das Modellieren der Beziehungen zwischen Akteuren ist wichtig für die Erkennung von Gruppenaktivitäten in Mehrpersonenszenen. In dieser Arbeit wird das Ziel verfolgt, diskriminative Beziehungen zwischen Akteuren effizient mit tiefen Modellen zu lernen. Zu diesem Zweck schlagen wir vor, einen flexiblen und effizienten Akteur-Beziehung-Graphen (Actor Relation Graph, ARG) aufzubauen, um gleichzeitig das Erscheinungsbild und die Position der Akteure zu erfassen. Dank des Graph Convolutional Networks können die Verbindungen im ARG automatisch aus Gruppenaktivitätsvideos in einem end-to-end-Prozess gelernt werden, und die Inferenz im ARG kann mit Standard-Matrixoperationen effizient durchgeführt werden. Darüber hinaus haben wir in der Praxis zwei Varianten entwickelt, um den ARG zu verdünnen und so eine effektivere Modellierung in Videos zu ermöglichen: den räumlich lokalisierten ARG und den zeitlich randomisierten ARG. Wir führen umfangreiche Experimente auf zwei Standard-Datensätzen für die Erkennung von Gruppenaktivitäten durch: dem Volleyball-Datensatz und dem Collective Activity-Datensatz, wobei auf beiden Datensätzen ein Stand-des-Wissens-Leistungsniveau erreicht wird. Zudem visualisieren wir die gelernten Akteurgraphen und Beziehungseigenschaften, was zeigt, dass der vorgeschlagene ARG in der Lage ist, diskriminative Beziehungsinformationen für die Erkennung von Gruppenaktivitäten zu erfassen.