다중 인물 3D 자세 및 형태 추정을 위한 역運動학 및 정제

단일 채널 RGB 이미지에서 3D 자세와 형태를 메시 형태로 추정하는 것은 도전적입니다. 분명히, 이는 3D 자세를 단순히 스켈레톤이나 히트맵 형태로 추정하는 것보다 더 어렵습니다. 사람 간의 상호작용이 포함될 경우, 사람 간 가림 현상에 의해 발생하는 모호성 때문에 3D 메시 재구성이 더욱 어려워집니다. 이러한 도전을 해결하기 위해, 우리는 1) 가림에 강한 3D 스켈레톤 추정으로부터 역運動학(Inverse Kinematics)을 활용하고, 2) 트랜스포머 기반의 관계 인식 정제 기술을 적용하는 거친 단계에서 세부 단계까지의 파이프라인을 제안합니다. 우리의 파이프라인에서는 먼저 RGB 이미지에서 여러 사람의 가림에 강한 3D 스켈레톤을 얻습니다. 그런 다음, 역운동학을 적용하여 추정된 스켈레톤을 변형 가능한 3D 메시 매개변수로 변환합니다. 마지막으로, 트랜스포머 기반의 메시 정제를 적용하여 얻은 메시 매개변수를 고려하여 사람 간 및 사람 내부의 3D 메시 관계를 정제합니다. 광범위한 실험을 통해 우리 방법의 효과성을 입증하며, 3DPW, MuPoTS 및 AGORA 데이터셋에서 최신 연구 결과를 초월함을 보여줍니다.