8일 전

RHM: 로봇 하우스 다중 시점 인간 활동 인식 데이터셋

{Farshid Amirabdollahian, Catherine Menon, Patrick Holthaus, Mohamad Reza Shahabian Alashti, Mohammad Hossein Bamorovat Abadi}

논문 세부 정보 보기 View Code

초록

최근 딥 신경망과 데이터셋의 능력이 급격히 향상되면서 인간 행동 인식(Human Action Recognition, HAR) 분야는 가용 데이터셋과 딥 모델 측면에서 빠르게 성장하고 있다. 그러나 로봇 기술 분야 및 인간-로봇 상호작용(Human-Robot Interaction)을 특별히 다루는 데이터셋은 여전히 부족한 실정이다. 본 연구에서는 이러한 문제를 해결하기 위해 새로운 다중 시점 데이터셋을 준비하고 소개한다. 로봇 하우스 다중 시점(Robot House Multi-View, RHM) 데이터셋은 전면, 후면, 천장(오미니) 및 로봇 자체 시점의 네 가지 시점을 포함한다. 각 시점에 대해 14개의 행동 클래스가 있으며, 클래스당 6,701개의 영상 클립이 포함되어 총 26,804개의 영상 클립을 제공한다. 영상 클립의 길이는 1초에서 5초 사이이다. 동일한 번호와 동일한 클래스에 해당하는 영상은 각 시점 간에 정확히 동기화되어 있다. 본 논문의 두 번째 부분에서는 기존의 최첨단 모델을 활용한 단일 스트림 기반 행동 인식의 가능성을 탐구하고, 정보 이론적 모델링 및 상호정보량(mutual information) 개념을 기반으로 각 시점의 정보 제공 능력을 평가한다. 또한, 다양한 시점의 성능을 벤치마킹함으로써 각 시점의 정보량과 성능 간의 관계를 분석하여 그 장단점을 명확히 한다. 본 연구의 결과는 다중 시점 및 다중 스트림 기반 행동 인식이 행동 인식 성능을 향상시킬 수 있는 잠재적 가능성을 시사한다. RHM 데이터셋은 다음 링크에서 공개되어 있다: {href{https://robothouse-dev.herts.ac.uk/datasets/RHM/HAR-1/}{Robot House}}.