토요타 스마트홈: 일상생활 활동의 실제 세계 적용

심층 신경망의 성능은 주석 데이터의 양과 질에 의해 크게 영향을 받는다. 대부분의 대규모 활동 인식 데이터셋은 웹에서 수집된 데이터로 구성되어 있으며, 이는 일상생활 속에서 실제로 발생하는 도전 과제를 반영하지 못한다. 본 논문에서는 일상생활 활동을 위한 대규모 실세계 영상 데이터셋인 Toyota Smarthome을 소개한다. 이 데이터셋은 스마트홈 환경에서 고령자가 수행한 31개의 활동 클래스에 대해 총 16,000개의 RGB+D 클립으로 구성되어 있다. 기존 데이터셋과 달리, 이 영상은 완전히 스크립트 없이 촬영되었으며, 결과적으로 다음과 같은 여러 도전 과제를 제시한다: 높은 클래스 내 변동성, 심한 클래스 불균형, 단순 및 복합 활동, 유사한 동작을 보이는 활동과 변동하는 지속 시간을 가진 활동들이다. 각 활동은 거시적(macro) 및 미세적(micro) 레이블로 주석 처리되었다. 이러한 특성들은 Toyota Smarthome 데이터셋이 기존 활동 인식 데이터셋과 구별되는 핵심 요소이다. 최근의 활동 인식 기법들은 Toyota Smarthome가 제시하는 도전 과제를 충분히 다루지 못하고 있어, 주목기반의 새로운 활동 인식 방법을 제안한다. 본 논문에서는 3D ConvNet을 기반으로 한 자세 기반의 공간-시간 주목 메커니즘을 제안한다. 제안한 방법이 벤치마크 데이터셋뿐 아니라 Toyota Smarthome 데이터셋에서도 최신 기법들을 능가함을 실험을 통해 입증하였다. 또한 본 연구는 데이터셋을 연구 목적을 위해 공개한다.