Skelettbasierte Aktionserkennung von Personen, die Objekte handhaben

In visuellen Überwachungssystemen ist es notwendig, das Verhalten von Menschen zu erkennen, die Gegenstände wie ein Telefon, einen Becher oder eine Plastiktüte bedienen. In dieser Arbeit schlagen wir ein neues Framework vor, um objektbezogene menschliche Handlungen durch Graph Convolutional Networks (GCNs) unter Verwendung von menschlichen und objektiven Poses zu erkennen. In diesem Framework bauen wir Skeletgraphen zuverlässiger menschlicher Poses auf, indem wir informierende Frames in einem Video selektiv auswählen, die Gelenke mit hohen Konfidenzwerten enthalten, die bei der Pose-Schätzung ermittelt wurden. Die aus den ausgewählten Frames generierten Skeletgraphen repräsentieren menschliche Poses im Bezug zur Objektposition sowohl im räumlichen als auch im zeitlichen Bereich. Diese Graphen werden als Eingabe für die GCNs verwendet. Durch Experimente mit einer öffentlichen Benchmark und unseren eigenen Datensätzen verifizieren wir die Gültigkeit unseres Frameworks, da unsere Methode die bislang besten Methoden für skeletonbasierte Aktionserkennung übertrifft.