VoxelTrack: 야생 환경에서의 다중 인체 3차원 자세 추정 및 추적

다수의 카메라를 이용한 다인용 3D 자세 추정 및 추적을 위한 VoxelTrack을 제안한다. 이 방법은 넓은 기준선을 가진 다수의 분리된 카메라에서 작동하며, 환경 내 모든 사람의 3D 자세와 재식별(Re-ID) 특징을 동시에 추정하는 다중 분기 네트워크를 활용한다. 기존의 방법들은 노이즈가 많은 2D 자세 추정 결과를 기반으로 다각도 간 대응 관계를 설정해야 했지만, 본 방법은 다각도 이미지로부터 구성된 3D 복셀 기반 표현에서 직접 3D 자세를 추정하고 추적한다. 먼저, 정규 복셀을 사용해 3D 공간을 이산화하고, 모든 시점에서 역투영된 신체 관절 히트맵의 평균을 계산하여 각 복셀에 특징 벡터를 생성한다. 이후, 각 복셀이 특정 신체 관절을 포함하는지를 예측함으로써 복셀 표현에서 3D 자세를 추정한다. 동일하게, 각 복셀에 대해 Re-ID 특징을 계산하여 추정된 3D 자세를 시간에 따라 추적하는 데 사용한다. 본 방법의 주요 장점은 개별 이미지 기반의 단단한 결정을 피할 수 있다는 점이다. 이로 인해 일부 카메라에서 사람의 자세가 심각하게 가려져 있어도 안정적으로 3D 자세를 추정하고 추적할 수 있다. 제안된 방법은 Shelf, Campus, CMU Panoptic을 포함한 세 가지 공개 데이터셋에서 최신 기술 대비 큰 성능 우위를 보였다.