MECCANO 데이터셋: 산업 환경에서 이고 센트릭 비디오를 통한 인간-물체 상호작용 이해

웨어러블 카메라는 인간이 세계와 상호작용하는 이미지와 동영상을 수집할 수 있게 합니다. 제3자 시점에서 인간-물체 상호작용은 철저히 연구되었지만, 제1자 시점과 산업 환경에서는 충분히 연구되지 않았습니다. 이 간극을 메우기 위해, 우리는 MECCANO를 소개합니다. MECCANO는 제1자 시점의 동영상을 수집하여 산업 환경 유사 조건에서 인간-물체 상호작용을 연구하기 위한 최초의 데이터셋입니다. MECCANO는 20명의 참가자가 모터바이크 모델을 조립하면서 작은 물체와 도구들과 상호작용하도록 요청받아 수집되었습니다. 이 데이터셋은 제1자 시점에서 인간-물체 상호작용을 인식하는 작업을 위해 명시적으로 라벨링되었습니다. 구체적으로, 각 상호작용은 시간적으로(행동 구간으로)와 공간적으로(활성 물체 경계상자로) 라벨링되었습니다. 제안된 데이터셋을 통해 우리는 1) 행동 인식, 2) 활성 물체 탐지, 3) 활성 물체 인식, 4) 제1자 시점의 인간-물체 상호작용 탐지를 포함한 네 가지 다른 작업을 조사하였습니다. 이 중 4번째 작업은 표준적인 인간-물체 상호작용 탐지 작업의 재해석 버전입니다. 기준 결과는 MECCANO 데이터셋이 산업 환경 유사 조건에서 제1자 시점의 인간-물체 상호작용을 연구하기 위한 어려운 벤치마크임을 보여줍니다. 우리는 이 데이터셋을 공개적으로 제공하며, 자세한 내용은 https://iplab.dmi.unict.it/MECCANO에서 확인할 수 있습니다.