Gimme Signale: Diskriminative Signalcodierung für die multimodale Aktivitätserkennung

Wir präsentieren eine einfache, dennoch effektive und flexible Methode zur Aktionserkennung, die mehrere Sensormodalitäten unterstützt. Multivariate Signalsequenzen werden in einem Bild kodiert und anschließend mit der kürzlich vorgeschlagenen EfficientNet-CNN-Architektur klassifiziert. Unser Fokus lag darauf, einen Ansatz zu finden, der sich gut auf verschiedene Sensormodalitäten verallgemeinert, ohne spezifische Anpassungen vorzunehmen, während er dennoch gute Ergebnisse erzielt. Wir wenden unsere Methode auf 4 Aktionserkennungsdatensätze an, die Skelettdaten, Trägheits- und Bewegungsaufzeichnungen sowie Wi-Fi-Fingerprints enthalten, die bis zu 120 Aktionklassen umfassen. Unsere Methode definiert den aktuellen besten CNN-basierten Ansatz im NTU RGB+D 120 Datensatz, hebt den Stand der Technik im ARIL Wi-Fi Datensatz um +6,78 % an, verbessert das UTD-MHAD-Inertials-Basisline um +14,4 %, das UTD-MHAD-Skelettbasisline um 1,13 % und erreicht 96,11 % bei den Simitate-Bewegungsaufzeichnungsdaten (80/20 Aufteilung). Darüber hinaus demonstrieren wir Experimente sowohl zur Modalitätsfusion auf SignalEbene als auch zur Signaleinsparung zur Vermeidung einer Überlastung der Repräsentation.