Selbstüberwachung der Aktionserkennung durch statistische Momente und Unterraumdeskriptoren

In dieser Arbeit bauen wir auf dem Konzept der Selbstüberwachung auf, indem wir RGB-Bilder als Eingabe verwenden, um sowohl Aktionen als auch Hilfsdeskriptoren, wie zum Beispiel Objektbeschreibungen, vorherzusagen. Sogenannte Halluzinationsströme werden trainiert, um diese Hilfsinformationen zu prognostizieren und gleichzeitig in Klassifikationsschichten eingespeist. Im Test Stadium werden diese dann halluziniert, um das Netzwerk zu unterstützen. Wir entwerfen und halluzinieren zwei Deskriptoren: einen, der vier gängige Objekterkennungsverfahren anwendet, die auf den Trainingsvideos verwendet werden; und einen anderen, der auf Bild- und Videoebene Salienzerkennungsverfahren nutzt. Der erste Deskriptor kodiert die Klassenprognosewerte (Class Prediction Scores), Vertrauenswerte (Confidence Scores) und räumlichen Positionen der Bounding Boxes sowie die Frameindizes, um die räumlich-zeitliche Verteilung der Merkmale pro Video zu erfassen. Der zweite Deskriptor kodiert die räumlich-winkligen Gradientenverteilungen von Salienzkarten und Intensitätsmustern.Inspiration für unsere Methode stammt aus der charakteristischen Funktion der Wahrscheinlichkeitsverteilung. Wir erfassen vier statistische Momente der oben genannten Zwischendeskriptoren. Da die Anzahl der Koeffizienten im Mittelwert (Mean), Kovarianz (Covariance), Schiefe (Skewness) und Wölbung (Kurtosis) linear, quadratisch, kubisch und quartisch mit der Dimension des Merkmalsvektors wächst, beschreiben wir die Kovarianzmatrix durch ihre führenden n' Eigenvektoren (sogenannter Unterraum). Anstatt den kostspieligen Coschiefe (Coskewness) und Co-Wölbung (Cokurtosis) zu berechnen, fangen wir stattdessen Schiefe/Kurtosis ab. Auf fünf gängigen Datensätzen wie Charades und EPIC-Kitchens erreichen wir den aktuellen Stand der Technik (State of the Art).