SHARP: Pseudo-Depth를 이용한 범위 기반 손과 팔 분할을 통한 향상된 제1인칭 3D 손 포즈 추정 및 행동 인식

손의 자세는 사용자가 객체와 상호작용하는 제1인칭 시점에서 행동 인식에 핵심적인 정보를 제공합니다. 본 연구에서는 RGB 프레임만을 사용하여 제1인칭 3D 손의 자세 추정을 개선하기 위해 가상 깊이 이미지를 활용하는 방법을 제안합니다. 최신 단일 RGB 이미지 깊이 추정 기술을 적용하여 프레임의 가상 깊이 표현을 생성하고, 거리 정보를 활용하여 장면의 관련 없는 부분들을 분할합니다. 이렇게 생성된 깊이 맵은 RGB 프레임의 분할 마스크로 사용됩니다. H2O 데이터셋에서 수행한 실험 결과, 본 방법을 통해 행동 인식 작업에서 추정된 자세의 정확성이 매우 높음을 확인하였습니다. 3D 손의 자세와 객체 검출 정보가 트랜스포머 기반 행동 인식 네트워크에 처리되어 91.73%의 정확도를 달성하였으며, 이는 모든 최신 방법들을 능가하는 성능입니다. 3D 손의 자세 추정은 평균 자세 오차가 28.66 mm인 경쟁력 있는 성능을 보여주며, 기존 방법들과 비교해도 우수한 결과를 나타냅니다. 이 방법은 깊이 센서에 의존하지 않고 거리 정보를 제1인칭 3D 손의 자세 추정에 활용할 수 있는 새로운 가능성을 열어줍니다.