WiLoR: 야외 환경에서 end-to-end 3D 손 위치 추정 및 재구성

최근 몇 년 동안, 3D 손 포즈 추정 방법이 인간-컴퓨터 상호작용, 가상 현실, 그리고 로보틱스 분야에서 광범위한 응용으로 인해 주목을 받고 있습니다. 반면에, 손 검출 파이프라인에는 여전히 큰 격차가 있어 실제 환경에서 효과적인 다중 손 재구성 시스템을 구축하는 데 큰 어려움을 초래하고 있습니다. 본 연구에서는 실제 환경에서 효율적인 다중 손 재구성을 위한 데이터 기반 파이프라인을 제시합니다. 제안된 파이프라인은 두 가지 구성 요소로 이루어져 있습니다: 실시간 완전 합성곱 손 위치 결정 모델과 고충실도 트랜스포머 기반 3D 손 재구성 모델입니다. 이전 방법들의 한계를 극복하고 안정적이고 강건한 검출 네트워크를 구축하기 위해, 다양한 조명, 광학 조건,以及遮挡情况下的超过200万张实际环境中的手部图像的大规模数据集被引入（다양한 조명, 광학 조건 및 가림 상태를 갖춘 200만 장 이상의 실제 환경 손 이미지를 포함하는 대규모 데이터셋을 도입하였습니다）. 우리의 접근 방식은 인기 있는 2D 및 3D 벤치마크에서 효율성과 정확성 면에서 이전 방법들을 능가합니다. 마지막으로, 본 연구는 단일 카메라 비디오로부터 시간적 구성 요소를 사용하지 않고 부드러운 3D 손 추적을 달성할 수 있는 파이프라인의 효과성을 보여줍니다. 코드, 모델 및 데이터셋은 다음 링크에서 이용 가능합니다: https://rolpotamias.github.io/WiLoR.注：在翻译“以及遮挡情况下的超过200万张实际环境中的手部图像的大规模数据集被引入”时，为了保持句子的流畅性和符合韩语表达习惯，将其翻译为“다양한 조명, 광학 조건 및 가림 상태를 갖춘 200만 장 이상의 실제 환경 손 이미지를 포함하는 대규모 데이터셋을 도입하였습니다”。