자율적으로 감독되는 메시 컨볼루션 손 재구성: 야생 환경에서의 적용

단일 카메라 기반 3D 손 자세 추정을 위한 간단하면서도 효과적인 네트워크 아키텍처를 제안한다. 이 아키텍처는 이미지 인코더와 메시 컨볼루션 디코더로 구성되며, 직접적인 3D 손 메시 재구성 손실을 통해 학습된다. 우리는 유튜브 영상에서 수집한 대규모 손 동작 데이터셋을 활용하여 네트워크를 학습시키며, 이를 약한 감독(weak supervision)의 원천으로 사용한다. 약한 감독 기반의 메시 컨볼루션 기반 시스템은 기존 최고 성능 기법들을 크게 능가하며, 특히 실외 환경 기준(이너 와일드 벤치마크)에서 오차를 절반으로 줄이는 성과를 거두었다. 데이터셋 및 추가 자료는 https://arielai.com/mesh_hands 에서 제공된다.