초록
구조화된 표현 방식인 키포인트는 포즈 전송, 조건부 이미지 생성, 애니메이션 및 3D 재구성 등 다양한 분야에서 널리 사용되고 있습니다. 그러나 이러한 지도 학습은 각 대상 영역에 대한 비싼 주석 작업을 필요로 합니다. 본 연구에서는 2D 키포인트를 직선 엣지로 연결한 그래프를 사용하여 객체 구조와 외관을 분리하는 자가 감독 학습 방법을 제안합니다. 이 방법은 동일한 객체 클래스를 묘사하는 이미지 집합만 주어졌을 때, 키포인트 위치와 그 쌍별 엣지 가중치를 학습할 수 있습니다. 결과적으로 얻어진 그래프는 해석 가능하며, 예를 들어 AutoLink는 사람을 보여주는 이미지에 적용될 때 인간의 골격 구조를 복원합니다.우리의 주요 구성 요소는 다음과 같습니다: i) 입력 이미지에서 키포인트 위치를 예측하는 인코더, ii) 모든 이미지에서 동일한 키포인트 쌍을 연결하는 공유 그래프로서의 잠재 변수, iii) 잠재 그래프 엣지 가중치와 키포인트 위치를 부드럽고 미분 가능한 방식으로 결합하는 중간 엣지 맵, iv) 무작위로 마스킹된 이미지를 위한 인페인팅 목적함수입니다. AutoLink는 간단하지만, 기존의 자가 감독 학습 방법보다 확립된 키포인트 및 포즈 추정 벤치마크에서 더 우수한 성능을 보이며, 더 다양한 데이터셋에서 구조 조건부 생성 모델의 개발을 위한 길을 열어주고 있습니다. 프로젝트 웹사이트: https://xingzhehe.github.io/autolink/.