HyperAIHyperAI

Command Palette

Search for a command to run...

Glimpse Clouds: Erkennung von menschlichen Aktivitäten anhand unstrukturierter Merkpunkte

Fabien Baradel Christian Wolf Julien Mille Graham W. Taylor

Zusammenfassung

Wir schlagen eine Methode zur Aktivitätserkennung von Menschen aus RGB-Daten vor, die weder während der Testphase auf Poseinformationen zurückgreift noch diese intern explizit berechnet. Stattdessen lernt ein visuelles Aufmerksamkeitsmodul, Blicksequenzen in jedem Frame vorherzusagen. Diese Blicke entsprechen Interessenspunkten in der Szene, die für die klassifizierten Aktivitäten relevant sind. Es wird keine räumliche Kohärenz der Blickpositionen erzwungen, was dem Modul die Freiheit gibt, in jedem Frame verschiedene Punkte zu erkunden und den Prozess der visuellen Informationssuche besser zu optimieren. Die Verfolgung und sequenzielle Integration dieser Art von unstrukturierten Daten stellt eine Herausforderung dar, die wir bewältigen, indem wir die Menge der Blicke von einer Menge rekurrierender Verfolgungs-/Erkennungsarbeiter trennen. Diese Arbeiter erhalten die Blicke und führen gemeinsam die nachfolgende Bewegungsverfolgung und Aktivitätsvorhersage durch. Die Blicke werden den Arbeitern weich zugewiesen (soft assignment), wobei Kohärenz der Zuordnungen im Raum, in der Zeit und im Merkmalsraum durch ein externes Speichermodul optimiert wird. Es werden keine harten Entscheidungen getroffen, d.h., jeder Blickpunkt wird allen existierenden Arbeitern zugewiesen, jedoch mit unterschiedlichem Gewicht. Unsere Methoden übertreffen den aktuellen Stand der Technik auf dem größten zur Verfügung stehenden Datensatz für die Erkennung menschlicher Aktivitäten; dem NTU RGB+D Datensatz, sowie auf einem kleineren Datensatz für die Erkennung menschlicher Aktionen; dem Northwestern-UCLA Multiview Action 3D Datensatz. Unser Code ist öffentlich verfügbar unter https://github.com/fabienbaradel/glimpse_clouds.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Glimpse Clouds: Erkennung von menschlichen Aktivitäten anhand unstrukturierter Merkpunkte | Paper | HyperAI