HyperAIHyperAI
vor 17 Tagen

Lernen von Gruppenaktivitäten aus Skeletten ohne individuelle Aktionslabels

Fabio Zappardino, Tiberio Uricchio, Lorenzo Seidenari, Alberto Del Bimbo
Lernen von Gruppenaktivitäten aus Skeletten ohne individuelle Aktionslabels
Abstract

Um menschliches Verhalten zu verstehen, müssen wir nicht nur einzelne Handlungen erkennen, sondern auch möglicherweise komplexe Gruppenaktivitäten und deren Interaktionen modellieren. Hierarchische Modelle erzielen derzeit die besten Ergebnisse bei der Erkennung von Gruppenaktivitäten, erfordern jedoch fein granulierte Annotationen individueller Aktionen auf der Ebene der Akteure. In diesem Paper zeigen wir, dass es möglich ist, ein state-of-the-art end-to-end-System ausschließlich mit skelettbasierter Daten zu trainieren, wobei lediglich Aktivitätslabels auf Sequenzebene zur Verfügung stehen. Unsere Experimente belegen, dass Modelle, die ohne individuelle Aktionssupervision trainiert werden, erheblich schlechtere Leistungen erzielen. Andererseits zeigen wir, dass sogenannte Pseudolabels aus beliebigen vortrainierten Merkmalsextraktoren berechnet werden können, wodurch vergleichbare Endleistungen erzielt werden. Schließlich demonstrieren wir, dass unsere sorgfältig entworfene, auf Pose-basierten Daten basierende Architektur – selbst im selbstüberwachten Modus – äußerst wettbewerbsfähige Ergebnisse erzielt, verglichen mit komplexeren multimodalen Ansätzen.