Schwach überwachte zeitliche Aktionsdetektion für feingranulare Videos mit hierarchischen atomaren Aktionen

Die Aktionserkennung ist in das Zeitalter der Feingranularität eingetreten, da die meisten menschlichen Verhaltensweisen im echten Leben nur geringfügige Unterschiede aufweisen. Um diese feingranularen Aktionen effizient und präzise zu erkennen, befassen wir uns erstmals mit dem Problem der schwach überwachten feingranularen zeitlichen Aktionserkennung in Videos. Ohne sorgfältig entwickelte Methoden zur Erfassung subtiler Unterschiede zwischen feingranularen Aktionen können frühere schwach überwachte Modelle für allgemeine Aktionserkennung im feingranularen Bereich nicht gut abschneiden. Wir schlagen vor, Aktionen als Kombinationen wiederverwendbarer atomarer Aktionen zu modellieren, die durch selbstüberwachtes Clustering automatisch aus den Daten entdeckt werden, um sowohl Gemeinsamkeiten als auch Individualitäten von feingranularen Aktionen zu erfassen. Die gelernten atomaren Aktionen, die durch visuelle Konzepte dargestellt werden, werden unter Verwendung der semantischen Labelhierarchie auf feine und grobe Aktionssignaturen abgebildet. Unser Ansatz konstruiert eine vierstufige visuelle Repräsentationshierarchie: Clip-Ebene, atomare-Aktions-Ebene, feine-Aktionsklasse-Ebene und grobe-Aktionsklasse-Ebene, wobei jede Ebene überwacht wird. Ausführliche Experimente an zwei großen feingranularen Videodatensätzen, FineAction und FineGym, zeigen den Nutzen unseres vorgeschlagenen schwach überwachten Modells für die feingranulare Aktionserkennung und es erreicht state-of-the-art Ergebnisse (Stand der Technik).