Das Unsichtbare sichtbar machen: Aktionserkennung durch Wände und Verdeckungen

Das Verständnis von menschlichen Handlungen und Interaktionen hängt in der Regel davon ab, sie zu sehen. Die Automatisierung des Prozesses der Aktionserkennung aus visuellen Daten war Gegenstand vieler Forschungsarbeiten in der Computer Vision Community. Aber was passiert, wenn es zu dunkel ist oder die Person verdeckt ist oder hinter einer Wand steht? In dieser Arbeit stellen wir ein neuronales Netzwerkmodell vor, das menschliche Handlungen durch Wände und Verdeckungen sowie bei schlechten Beleuchtungsbedingungen erkennen kann. Unser Modell verwendet Radiofrequenzsignale (RF-Signale) als Eingabe, generiert 3D-Menschenskelette als Zwischendarstellung und erkennt Handlungen und Interaktionen mehrerer Personen über die Zeit. Durch die Übersetzung der Eingabe in eine zwischengeschaltete skelettbasierte Darstellung kann unser Modell sowohl von visionbasierten als auch von RF-basierten Datensätzen lernen und ermöglicht es den beiden Aufgaben, sich gegenseitig zu unterstützen. Wir zeigen, dass unser Modell in sichtbaren Szenarien eine vergleichbare Genauigkeit wie visionbasierte Aktionserkennungssysteme erreicht, aber weiterhin präzise arbeitet, wenn die Personen nicht sichtbar sind. Somit adressieren wir Szenarien, die über den heutigen Grenzwert der visionbasierten Aktionserkennung hinausgehen.