BioPose: 단일 카메라 영상에서 생체역학적으로 정확한 3D 자세 추정

최근 단일 카메라 이미지와 비디오에서의 3D 인간 자세 추정 기술은 SMPL과 같은 매개변수 모델에 의존해 왔습니다. 그러나 이러한 모델들은 해부학적 구조를 과도하게 단순화하여, 실제 관절 위치와 움직임을 정확히 포착하는 데 한계가 있어 생체역학, 의료, 로봇공학 분야에서의 적용 범위를 제한하고 있습니다. 반면에, 생체역학적으로 정확한 자세 추정은 일반적으로 전문 실험실에서 고비용의 마커 기반 운동 캡처 시스템과 최적화 기법을 필요로 합니다. 이 간극을 메우기 위해 우리는 BioPose라는 새로운 학습 기반 프레임워크를 제안합니다. BioPose는 단일 뷰 비디오로부터 직접 생체역학적으로 정확한 3D 인간 자세를 예측하기 위한 것입니다.BioPose는 세 가지 주요 구성 요소를 포함하고 있습니다: 다중 쿼리 인간 메시 복원 모델(MQ-HMR), 신경 역기구학(NeurIK) 모델, 그리고 2D 정보 기반 자세 개선 기법입니다. MQ-HMR은 다중 쿼리 변형 트랜스포머를 활용하여 다중 스케일의 미세한 이미지 특성을 추출함으로써 정밀한 인간 메시 복원이 가능하도록 합니다. NeurIK은 메시 꼭짓점을 가상 마커로 취급하며, 공간-시간 네트워크를 적용하여 해부학적 제약 조건 하에서 생체역학적으로 정확한 3D 자세를 회귀합니다. 3D 자세 추정의 정확도를 더욱 향상시키기 위해, 2D 정보 기반 개선 단계는 추론 중에 3D 구조와 2D 자세 관찰치를 일치시키면서 쿼리 토큰을 최적화합니다.벤치마크 데이터셋에 대한 실험 결과는 BioPose가 최신 방법론들보다 크게 우수함을 입증하였습니다.프로젝트 웹사이트:\url{https://m-usamasaleem.github.io/publication/BioPose/BioPose.html}.