Zero-Shot-Aktionserkennung mit Fehlerkorrigierenden Ausgabecodes

Kürzlich ist die zero-shot-Aktionserkennung (ZSAR) aufgrund des explosionsartigen Wachstums der Aktionskategorien hervorgetreten. In diesem Artikel untersuchen wir ZSAR aus einer neuen Perspektive, indem wir die Error-Correcting Output Codes (ECOC) nutzen (bezeichnet als ZSECOC). Unser ZSECOC verleiht der herkömmlichen ECOC die zusätzliche Fähigkeit zur ZSAR, indem es das Problem der Domänenverschiebung adressiert. Insbesondere lernen wir diskriminative ZSECOC für gesehene Kategorien sowohl aus kategorieniveau-semantischen Informationen als auch aus den inhärenten Datenstrukturen. Dieser Prozess behandelt die Domänenverschiebung implizit, indem die gut etablierten Korrelationen zwischen gesehenen Kategorien auf unbekannte Kategorien übertragen werden. Darüber hinaus wird eine einfache semantische Übertragungsstrategie entwickelt, um die gelernten Embeddings der gesehenen Kategorien explizit so anzupassen, dass sie besser zur zugrundeliegenden Struktur der unbekannten Kategorien passen. Dadurch erbt unser ZSECOC die vielversprechenden Eigenschaften von ECOC und überwindet gleichzeitig die Domänenverschiebung, wodurch es für die ZSAR noch diskriminativer wird. Wir evaluieren ZSECOC systematisch auf drei realistischen Aktionsbenchmarks: Olympic Sports, HMDB51 und UCF101. Die experimentellen Ergebnisse zeigen eindeutig die Überlegenheit von ZSECOC gegenüber den aktuellen State-of-the-Art-Methoden.