PeCLR: 단일 RGB 이미지에서 등가 대칭 대비 학습을 통한 자기지도 학습 3D 손 자세 추정

이미지 분류 작업에서 대조 학습(contrastive learning)의 성공에 영감을 받아, 3차원 손 자세 추정(structured regression) 작업을 위한 새로운 자기 지도 학습(self-supervised) 방법을 제안한다. 대조 학습은 이미지 변환에 대해 학습된 특징 표현이 불변(invariant)하도록 하는 손실 함수를 통해 레이블이 없는 데이터를 활용하여 표현 학습을 수행한다. 3차원 손 자세 추정 작업에서도 색상 왜곡(color jitter)과 같은 외관 변환에 대해 불변성을 갖는 것이 바람직하다. 그러나 이 작업은 회전, 이동과 같은 아핀 변환(affine transformations)에 대해 등변(equivariant)성을 요구한다. 이러한 문제를 해결하기 위해, 등변 대조 목표(equivariant contrastive objective)를 제안하고, 3차원 손 자세 추정 맥락에서 그 효과를 입증한다. 우리는 불변 및 등변 대조 목표의 영향을 실험적으로 조사하여, 등변 특징을 학습하는 것이 3차원 손 자세 추정 작업에 더 나은 표현을 제공함을 보였다. 또한, 충분한 깊이를 가진 표준 ResNet 모델이 추가적인 레이블 없는 데이터로 훈련될 경우, FreiHAND 데이터셋에서 PA-EPE(Procrustes-aligned Endpoint Error) 기준으로 최대 14.5%의 성능 향상을 달성하며, 특수한 작업 지향 아키텍처 없이도 최신 기술(SOTA, state-of-the-art) 성능을 달성함을 보였다. 코드와 모델은 https://ait.ethz.ch/projects/2021/PeCLR/ 에서 공개되어 있다.