다중 비디오 카메라를 이용한 실시간 다인원 운동 캡처를 위한 4D 연결 그래프

본 논문은 다중 시점 영상 입력을 이용한 실시간 다인용 움직임 캡처 알고리즘을 제안한다. 각 시점에서 심각한 겹침(occlusion)이 발생함에 따라, 다중 시점 이미지와 다수의 시간 프레임을 종합적으로 최적화하는 것이 필수적이며, 이는 실시간 효율성이라는 핵심적인 도전 과제를 야기한다. 이를 해결하기 위해, 본 연구는 최초로 각 시점별 해석(per-view parsing), 시점 간 매칭(cross-view matching), 시간적 추적(temporal tracking)을 하나의 최적화 프레임워크 안에 통합하여, 이미지 공간, 시점, 시간이라는 네 가지 차원을 동등하고 동시에 다룰 수 있는 4차원 연관 그래프(4D association graph)를 제안한다. 효율적인 4D 연관 그래프 해결을 위해, 히우리스틱 탐색 기반의 4차원 사지 패키지 해석(4D limb bundle parsing) 기법을 도입한 후, 패키지 크루스칼 알고리즘(bundle Kruskal's algorithm)을 제안하여 사지 패키지의 조립을 수행한다. 제안된 방법은 5대의 카메라를 사용하여 5인용 시나리오에서 30fps의 실시간 온라인 움직임 캡처 시스템을 구현할 수 있다. 통합된 해석, 매칭 및 추적 제약 조건의 이점으로 인해, 본 방법은 노이즈가 있는 감지 결과에도 강건하며, 높은 품질의 실시간 자세 재구성 성능을 달성한다. 고급 외형 정보를 사용하지 않음에도 불구하고, 제안된 방법은 기존 최고 수준의 기법들을 수치적으로 우수하게 능가한다. 또한, 과학적 평가를 위한 목적에 맞춰 마커 기반 움직임 캡처 시스템과 동기화된 다중 시점 영상 데이터셋을 함께 기여한다.