Scene Flow zu Aktion Karte: Eine neue Darstellung für die Aktionserkennung auf Basis von RGB-D mit Faltungsneuronalen Netzen

Szene-Fluss beschreibt die Bewegung von 3D-Objekten in der realen Welt und könnte potenziell eine gute Grundlage für die 3D-Aktionserkennung sein. Allerdings wurde seine Verwendung für die Aktionserkennung, insbesondere im Kontext von Faltungsneuronalen Netzen (ConvNets), bisher nicht untersucht. In dieser Arbeit schlagen wir die Extraktion und Verwendung des Szene-Flusses für die Aktionserkennung aus RGB-D-Daten vor. Frühere Arbeiten haben die Tiefen- und RGB-Modalitäten als separate Kanäle betrachtet und Merkmale für eine spätere Fusion extrahiert. Wir gehen einen anderen Weg und betrachten die Modalitäten als ein Ganzes, was es ermöglicht, Merkmale für die Aktionserkennung bereits am Anfang zu extrahieren. Zwei zentrale Fragen zur Verwendung des Szene-Flusses für die Aktionserkennung werden behandelt: Wie kann man den Szene-Fluss-Vektor organisieren? Und wie kann man basierend auf dem Szene-Fluss die langfristige Dynamik von Videos darstellen? Um den Szene-Fluss korrekt auf den verfügbaren Datensätzen zu berechnen, schlagen wir eine effektive Selbstkalibrierungsmethode vor, um die RGB- und Tiefendaten räumlich ohne Kenntnis der Kameraparameter auszurichten. Basierend auf den Szene-Fluss-Vektoren schlagen wir eine neue Darstellung vor, nämlich das Scene Flow to Action Map (SFAM), das mehrere langfristige räumlich-temporale Dynamiken für die Aktionserkennung beschreibt. Wir verwenden ein Kanaltransformationskern, um den Szene-Fluss-Vektor in einen optimalen Farbraum analog zu RGB zu transformieren. Diese Transformation nutzt besser die über ImageNet trainierten ConvNets-Modelle aus. Experimentelle Ergebnisse zeigen, dass diese neue Darstellung die Leistung der Stand-of-the-Art-Methoden auf zwei großen öffentlichen Datensätzen übertreffen kann.