생물역학적 제약을 통한 약한 감독 3D 손 자세 추정

2D 이미지에서 3D 손 자세를 추정하는 것은 본질적인 스케일 및 깊이 모호성 때문에 어려운 역 문제이다. 현재 최첨단 방법들은 3D 진실값 데이터를 사용하여 완전히 감독되는 심층 신경망을 훈련한다. 그러나 3D 레이블을 확보하는 것은 비용이 매우 높으며, 일반적으로 보정된 다중 시점 설정 또는 인력이 많이 필요한 수동 레이블링이 필요하다. 반면 2D 키포인트 레이블은 훨씬 쉽게 확보할 수 있지만, 이러한 약한 감독 데이터를 어떻게 효율적으로 활용하여 3D 손 자세 예측 성능을 향상시킬 수 있을지는 여전히 중요한 미해결 과제이다. 이 문제의 핵심 어려움은 추가적인 2D 감독을 직접 적용할 경우 대부분 2D 대체 목적함수에만 도움이 되며, 깊이 및 스케일 모호성을 크게 완화하지 못한다는 점에 있다. 이러한 도전을 수용하여 우리는 새로운 손실 함수들을 제안한다. 광범위한 실험을 통해 제안하는 제약 조건이 깊이 모호성을 상당히 줄이고, 추가적인 2D 레이블링 이미지를 네트워크가 보다 효과적으로 활용할 수 있도록 한다는 것을 입증한다. 예를 들어, 도전적인 freiHAND 데이터셋에서 본 연구에서 제안하는 생체역학적 제약 조건 없이 추가 2D 레이블을 사용할 경우 깊이 오차는 단지 15% 감소에 그치지만, 제안하는 생체역학적 제약 조건을 적용할 경우 오차는 50%나 감소함을 확인하였다.