야외 환경에서 밀도 높은 3D 표현을 이용한 보행 인식 및 벤치마크

기존의 보행 인식 연구는 제약된 환경에서 인간의 실루엣이나 골격과 같은 2D 표현에 주로 집중되어 왔습니다. 그러나 인간은 제약이 없는 3D 공간에서 살아가고 걷기 때문에, 3D 인간 몸체를 2D 평면으로 투영하면 보행 인식을 위한 시점, 형태, 동역학 등 중요한 정보가 많이 손실됩니다. 따라서 본 논문에서는 실제적이면서도 소홀히 다뤄져 온 야외 환경에서의 밀집형 3D 표현을 활용한 보행 인식 문제를 탐구하고자 합니다. 특히, 우리는 보행 인식을 위해 인간 몸체의 3D Skinned Multi-Person Linear (SMPL) 모델을 활용하는 새로운 프레임워크인 SMPLGait를 제안합니다. 우리의 프레임워크는 실루엣에서 외관 특징을 추출하는 한 가지 분야와 3D SMPL 모델에서 3D 시점과 형태에 대한 지식을 학습하는 다른 한 가지 분야로 구성되어 있으며, 이 두 분야는 세심하게 설계되었습니다. 또한 적절한 데이터셋이 부족하기 때문에, 우리는 처음으로 대규모 3D 표현 기반 보행 인식 데이터셋인 Gait3D를 구축하였습니다. 이 데이터셋은 제약이 없는 실내 환경에서 39개의 카메라로 촬영된 4,000명의 피실험자와 25,000개 이상의 시퀀스를 포함하며, 더욱 중요한 점은 비디오 프레임에서 복원된 3D SMPL 모델을 제공하여 몸체 형태, 시점 및 동역학에 대한 밀집형 3D 정보를 제공합니다. Gait3D를 기반으로 하여, 우리는 기존의 보행 인식 접근법들과 우리 방법을 전면적으로 비교하였으며, 이는 우리 프레임워크의 우수한 성능과 야외 환경에서의 3D 표현 활용 가능성을 반영합니다. 코드와 데이터셋은 https://gait3d.github.io 에서 이용할 수 있습니다.