Gimme 신호: 다중 모드 활동 인식을 위한 차별적 신호 인코딩

우리는 다중 센서 모드를 지원하는 간단하면서도 효과적이고 유연한 행동 인식 방법을 제시합니다. 다변량 신호 시퀀스는 이미지로 인코딩되어 최근 제안된 EfficientNet CNN 아키텍처를 사용하여 분류됩니다. 우리의 목표는 특정 조정 없이 다양한 센서 모드에서 잘 일반화되면서 여전히 좋은 결과를 얻는 접근 방식을 찾는 것이었습니다. 우리는 이 방법을 스켈레톤 시퀀스, 관성 및 모션 캡처 측정값, 그리고 최대 120개의 행동 클래스를 포함하는 Wi-Fi 지문이 있는 4개의 행동 인식 데이터셋에 적용했습니다. 우리의 방법은 NTU RGB+D 120 데이터셋에서 현재 가장 우수한 CNN 기반 접근 방식을 정의하며, ARIL Wi-Fi 데이터셋에서는 기존 수준을 +6.78% 향상시키고, UTD-MHAD 관성 베이스라인은 +14.4%, UTD-MHAD 스켈레톤 베이스라인은 1.13% 개선하며, Simitate 모션 캡처 데이터(80/20 분할)에서는 96.11%의 성능을 달성했습니다. 또한, 신호 수준에서의 모달리티 융합과 표현 과부하를 방지하기 위한 신호 축소 실험도 보여주었습니다.