일관성 훈련을 활용한 깊이 기반 반감독 3D 손 자세 추정에서 경계를 한층 더 밀어붙이기

최근 몇 년 동안 깊이 기반 3D 손 자세 추정 기법은 상당한 진전을 이루었으나, 여전히 높은 정확도를 달성하기 위해 대량의 레이블이 붙은 학습 데이터를 필요로 한다. 그러나 이러한 데이터를 수집하는 것은 비용이 많이 들고 시간이 오래 걸리는 과정이다. 이 문제를 해결하기 위해 우리는 레이블이 붙은 학습 데이터에 대한 의존도를 크게 줄일 수 있는 반감독 학습 방법을 제안한다. 제안하는 방법은 두 개의 동일한 네트워크를 공동으로 학습시키는 구조로 구성되며, 이는 교사 네트워크(teacher network)와 학생 네트워크(student network)로 이루어진다. 교사 네트워크는 사용 가능한 레이블이 붙은 샘플과 레이블이 없는 샘플을 모두 활용하여 학습된다. 이 과정에서 교사 네트워크는 일련의 아핀 변환(Affine transformation)에 대해 추정 결과가 불변(invariant)이 되도록 유도하는 손실 함수(loss formulation)를 통해 레이블이 없는 샘플을 효과적으로 활용한다. 반면 학생 네트워크는 교사 네트워크가 제공하는 가상 레이블(pseudo-labels)을 사용하여 레이블이 없는 샘플만을 기반으로 학습된다. 테스트 시에는 오직 학생 네트워크만을 사용하여 추론을 수행한다. 광범위한 실험을 통해 제안한 방법이 최신 반감독 학습 기법들에 비해 크게 우수한 성능을 보임을 입증하였다.