보이지 않는 것을 드러내다: 벽과 가림물 뒤의 행동 인식

사람들의 행동과 상호작용을 이해하는 것은 일반적으로 그들을 보는 것에 의존합니다. 시각 데이터에서의 행동 인식 과정을 자동화하는 것은 컴퓨터 비전 분야에서 많은 연구의 주제가 되어왔습니다. 하지만 너무 어두운 경우나 사람이 가려져 있거나 벽 뒤에 있을 때는 어떻게 할까요? 본 논문에서는 벽과 가림물, 그리고 암흑 조건에서도 인간의 행동을 감지할 수 있는 신경망 모델을 소개합니다. 우리의 모델은 전파 주파수(RF) 신호를 입력으로 받아, 중간 표현으로서 3D 인간 스켈레톤을 생성하고, 시간 경과에 따른 여러 사람들의 행동과 상호작용을 인식합니다. 입력을 중간 스켈레톤 기반 표현으로 변환함으로써, 우리의 모델은 시각 기반 데이터셋과 RF 기반 데이터셋 모두에서 학습할 수 있으며, 두 작업이 서로를 돕도록 합니다. 우리는 우리의 모델이 가시적인 상황에서 시각 기반 행동 인식 시스템과 유사한 정확도를 달성하면서도, 사람들이 보이지 않는 상황에서도 정확하게 작동함을 보여주며, 오늘날의 시각 기반 행동 인식의 한계를 넘어서는 시나리오를 다루고 있음을 입증합니다.