Semantischer Einbettungsraum für Zero-Shot Aktionserkennung

Die Anzahl der Kategorien für die Aktionserkennung wächst rasch. Es wird daher zunehmend schwieriger, ausreichende Trainingsdaten zu sammeln, um konventionelle Modelle für jede Kategorie zu lernen. Dieses Problem kann durch das zunehmend populäre Paradigma des "Zero-Shot Learning" (ZSL) gemildert werden. In diesem Rahmen wird eine Abbildung zwischen visuellen Merkmalen und einer menschenlesbaren semantischen Beschreibung jeder Kategorie erstellt, was es ermöglicht, Kategorien auch ohne vorhandene Trainingsdaten zu erkennen. Bestehende ZSL-Studien konzentrieren sich hauptsächlich auf Bilddaten und attributbasierte semantische Darstellungen. In dieser Arbeit untersuchen wir das Zero-Shot-Erkennen in aktuellen Videoaktionserkennungsaufgaben, indem wir den semantischen Wortvektorraum als gemeinsamen Raum verwenden, um Videos und Kategorielabels einzubetten. Dies ist herausfordernder, da die Abbildung zwischen dem semantischen Raum und den räumlich-zeitlichen Merkmalen von Videos mit komplexen Aktionen komplexer und schwieriger zu erlernen ist. Wir zeigen, dass eine einfache Selbsttrainings- und Datenverstärkungsstrategie die Effizienz dieser Abbildung erheblich verbessern kann. Experimente an menschlichen Aktionserkennungsdatensätzen wie HMDB51 und UCF101 belegen, dass unser Ansatz die neuesten Stand der Technik im Zero-Shot-Aktionserkennen erreicht.