Glimpse Clouds: Erkennung von menschlichen Aktivitäten anhand unstrukturierter Merkpunkte

Wir schlagen eine Methode zur Aktivitätserkennung von Menschen aus RGB-Daten vor, die weder während der Testphase auf Poseinformationen zurückgreift noch diese intern explizit berechnet. Stattdessen lernt ein visuelles Aufmerksamkeitsmodul, Blicksequenzen in jedem Frame vorherzusagen. Diese Blicke entsprechen Interessenspunkten in der Szene, die für die klassifizierten Aktivitäten relevant sind. Es wird keine räumliche Kohärenz der Blickpositionen erzwungen, was dem Modul die Freiheit gibt, in jedem Frame verschiedene Punkte zu erkunden und den Prozess der visuellen Informationssuche besser zu optimieren. Die Verfolgung und sequenzielle Integration dieser Art von unstrukturierten Daten stellt eine Herausforderung dar, die wir bewältigen, indem wir die Menge der Blicke von einer Menge rekurrierender Verfolgungs-/Erkennungsarbeiter trennen. Diese Arbeiter erhalten die Blicke und führen gemeinsam die nachfolgende Bewegungsverfolgung und Aktivitätsvorhersage durch. Die Blicke werden den Arbeitern weich zugewiesen (soft assignment), wobei Kohärenz der Zuordnungen im Raum, in der Zeit und im Merkmalsraum durch ein externes Speichermodul optimiert wird. Es werden keine harten Entscheidungen getroffen, d.h., jeder Blickpunkt wird allen existierenden Arbeitern zugewiesen, jedoch mit unterschiedlichem Gewicht. Unsere Methoden übertreffen den aktuellen Stand der Technik auf dem größten zur Verfügung stehenden Datensatz für die Erkennung menschlicher Aktivitäten; dem NTU RGB+D Datensatz, sowie auf einem kleineren Datensatz für die Erkennung menschlicher Aktionen; dem Northwestern-UCLA Multiview Action 3D Datensatz. Unser Code ist öffentlich verfügbar unter https://github.com/fabienbaradel/glimpse_clouds.