초록
다중 카메라 설정을 활용한 3차원 인간 자세 추정을 위한 새로운 방법을 제안한다. 본 방법은 분산형 스마트 엣지 센서와 백엔드 간의 의미론적 피드백 루프를 활용한다. 각 카메라 시점의 2차원 관절 검출은 전용 임베디드 추론 프로세서에서 로컬하게 수행된다. 네트워크를 통해 전송되는 것은 의미론적 스켈레톤 표현뿐이며, 원시 이미지는 센서 보드 내부에 유지된다. 3차원 자세는 중앙 백엔드에서 2차원 관절 정보를 기반으로 삼각측량과 인간 스켈레톤에 대한 사전 지식을 반영한 신체 모델을 사용하여 복원한다. 백엔드에서 개별 센서로 향하는 피드백 채널은 의미론적 수준에서 구현된다. 백엔드에서 산출된 할로센트릭(allocentric) 3차원 자세는 각 센서 시점으로 역투영되어 2차원 관절 검출 결과와 융합된다. 이로 인해 각 센서의 로컬 의미론적 모델은 전역적 맥락 정보를 포함함으로써 개선될 수 있다. 전체 파이프라인은 실시간 동작이 가능하다. 제안한 방법은 세 가지 공개 데이터셋에서 평가되었으며, 최신 기술 수준의 성능을 달성하였으며, 피드백 아키텍처의 효과를 입증하였다. 또한 다인용 실험을 위한 자체 설비에서도 검증되었으며, 피드백 신호를 활용함으로써 2차원 관절 검출 및 그에 기반한 3차원 자세 추정의 정확도가 향상됨을 보였다.