CHASE: Konvexe Hüllenadaptive Verschiebung für skeletonbasierte Mehr-Entitäten-Aktionserkennung
Die Skelettbasierte Mehr-Entitäten-Aktionserkennung ist eine anspruchsvolle Aufgabe, die darauf abzielt, interaktive Aktionen oder Gruppenaktivitäten zu identifizieren, die mehrere unterschiedliche Entitäten betreffen. Bestehende Modelle für Einzelpersonen sind oft in dieser Aufgabe mangelhaft, aufgrund der inhärenten Verteilungsunterschiede zwischen den Skeletten der Entitäten, was zu einer suboptimalen Optimierung des Backbones führt. Um dieses Problem zu lösen, stellen wir eine Methode zur Mehr-Entitäten-Aktionserkennung vor, die auf einem konvexen Hüllen angepassten Verschiebung basiert (CHASE – Convex Hull Adaptive Shift). CHASE verringert die Verteilungsunterschiede zwischen den Entitäten und entkoppelt nachfolgende Backbones von diesen Unterschieden.Speziell besteht CHASE aus einem lernbaren parametrisierten Netzwerk und einem Hilfsziel. Das parametrisierte Netzwerk erreicht plausibles, anpassungsfähiges Neupositionieren von Skelettsequenzen durch zwei zentrale Komponenten. Erstens stellt die implizite konvexe-Hüllen-gestützte adaptive Verschiebung sicher, dass der neue Ursprung des Koordinatensystems innerhalb der konvexen Hülle des Skeletts liegt. Zweitens bietet der Koeffizienten-Lernblock eine leichte Parametrisierung der Abbildung von Skelettsequenzen auf ihre spezifischen Koeffizienten in konvexen Kombinationen.Darüber hinaus schlagen wir das Minibatch-Paarweise Maximum-Mean-Discrepancy (MMD) als zusätzliches Ziel vor, um die Optimierung dieses Netzwerks für die Minimierung von Verteilungsunterschieden zu steuern. CHASE fungiert als anpassungsfähige Normalisierungsmethode zur Reduzierung von Verteilungsunterschieden zwischen den Entitäten, wodurch Datenverzerrungen reduziert und die Leistung des nachfolgenden Klassifikators bei der Mehr-Entitäten-Aktionserkennung verbessert wird.Umfangreiche Experimente auf sechs Datensätzen, darunter NTU Mutual 11/26, H2O, Assembly101, Collective Activity und Volleyball, bestätigen konsistent unseren Ansatz. Dies geschieht durch nahtloses Anpassen an Einzel-Entitäten-Backbones und Verbesserung ihrer Leistung in Mehr-Entitäten-Szenarien. Unser Code ist öffentlich verfügbar unter https://github.com/Necolizer/CHASE .