Occlusion-Net: 그래프 네트워크를 이용한 2D/3D 접촉 키포인트 위치 추정

우리는 객체의 가려진 관절점(키포인트)의 2D 및 3D 위치를 거의 자율학습 방식으로 예측하기 위한 프레임워크인 Occlusion-Net을 제안한다. 본 연구에서는 MaskRCNN과 같은 사전에 학습된 객체 탐지기의 출력을 입력으로 사용하며, 이 탐지기는 오직 가시적인 관절점 레이블에만 기반하여 학습된다. 이는 본 연구에서 유일하게 사용되는 감독 신호이다. 이후 그래프 인코더 네트워크는 가려진 에지(연결)를 명시적으로 분류하고, 그래프 디코더 네트워크는 초기 탐지기로부터 도출된 위치를 기반으로 가려진 관절점의 위치를 보정한다. 본 연구의 핵심은, 객체의 다른 시점에서 가시적인 가려진 관절점의 위치에 대해 간접적인 자율학습 신호를 제공하는 삼점텐서 손실(Loss)이다. 이후 2D 관절점은 3D 그래프 네트워크로 전달되며, 자율학습 기반의 재투영 손실을 이용해 3D 형태와 카메라 자세를 추정한다. 테스트 시점에서는 다양한 심각한 가림 상황에서도 단일 시점에서 관절점을 성공적으로 위치추정할 수 있다. 제안하는 방법은 합성 CAD 데이터와 다양한 번화한 도시 교차로에서 촬영된 대규모 이미지 세트를 활용하여 실험 및 평가하였다. 흥미로운 부가적 결과로, 기하학적 삼점텐서 손실을 통해 도출된 가려진 관절점의 정확도와 인간 레이블의 정확도를 비교하였다.