TesseTrack: 엔드투엔드 학습 가능한 다인용 관절 구조 3D 자세 추적

다수의 사람에 대한 3차원 자세 추정 및 추적을 임의의 수의 카메라 영상에서 수행하는 문제를 고려한다. 본 연구에서는 단일의 엔드투엔드 학습 가능한 프레임워크 내에서 다수의 개인에 대한 3차원 신체 관절 재구성과 공간-시간 영역에서의 관계 연결을 동시에 고려하는 새로운 탑다운 방식인 TesseTrack을 제안한다. 본 방법의 핵심은 단일 또는 다중 카메라 시점에서 수집된 특징을 통합하여 형성된 공통의 복셀화된 특징 공간에서 동작하는 새로운 공간-시간 형식이다. 사람 검출 단계를 거친 후, 4차원 CNN이 단기적인 사람별 특징 표현을 생성하며, 이를 미분 가능한 매칭기(differentiable matcher)를 통해 시간에 걸쳐 연결한다. 연결된 특징은 이후 병합되고, 역컨볼루션(deconvolution)을 통해 3차원 자세로 변환된다. 이러한 통합된 공간-시간 형식은 기존의 분할 전략과 대조되며, 기존 방법은 2차원 자세 추정, 2차원에서 3차원으로의 변환(2D-to-3D lifting), 3차원 자세 추적을 독립적인 하위 문제로 다루어 개별적으로 해결할 경우 오류가 누적되는 문제를 야기한다. 더불어, 기존의 방법들과 달리 TesseTrack은 카메라 시점의 수에 대한 변화에 강건하며, 추론 시점에 단일 시점만 존재하는 경우에도 매우 우수한 성능을 달성한다. 표준 벤치마크에서의 3차원 자세 재구성 정확도에 대한 정량적 평가 결과, 기존 최고 성능 기법들에 비해 뚜렷한 성능 향상을 보였다. 또한 본 연구에서 제안한 새로운 평가 프레임워크에서 다수의 사람에 대한 관절 구조화된 3차원 자세 추적 성능을 평가한 결과, 강력한 기준 모델들에 비해 TesseTrack의 우수성이 입증되었다.