초록
다양한 종류의 센서를 인간 활동 인식(HAR)에 사용할 수 있으며, 각 센서는 고유한 장점과 단점이 있다. 때로는 단일 센서만으로는 사용자의 움직임을 자신의 시점에서 완전히 관측할 수 없어 잘못된 예측을 초래할 수 있다. 센서 융합은 HAR에 더 많은 정보를 제공하지만, 사용자 프라이버시와 수용성 문제, 높은 설치 및 운영·유지비용 등 여러 내재적 단점이 존재한다. 이러한 문제를 해결하기 위해 우리는 훈련 시 다수의 시간 동기화된 센서로부터 레이블이 없는 데이터를 활용하지만, 추론 시에는 단일 센서만을 사용하는 새로운 방법인 가상 융합(Virtual Fusion)을 제안한다. 센서 간의 상관관계를 효과적으로 활용하기 위해 대조 학습(Contrastive Learning)을 도입하였다. 가상 융합은 동일한 단일 센서만을 사용해 훈련하는 경우보다 현저히 높은 정확도를 보이며, 일부 사례에서는 실제 다중 센서 융합을 사용한 경우보다 테스트 시점에서 더 뛰어난 성능을 달성한다. 또한 본 방법을 보다 일반적인 형태로 확장한 Actual Fusion within Virtual Fusion(AFVF)을 제안하였으며, 이는 추론 시 훈련용 센서의 부분 집합을 사용한다. 제안한 방법은 UCI-HAR 및 PAMAP2 벤치마크 데이터셋에서 최신 기술 수준의 정확도와 F1 점수를 달성하였다. 구현 코드는 요청 시 제공 가능하다.