주의력 안내 그래프 컨볼루션을 이용한 손과 물체 재구성의 협동 학습

상호작용 하에 손과 물체의 자세와 형태를 추정하는 기술은 증강 현실 및 가상 현실 등 다양한 응용 분야에서 활용됩니다. 기존의 손과 물체 재구성 방법들은 명시적으로 정의된 물리적 제약 조건과 알려진 물체를 필요로 하므로, 이는 그 응용 범위를 제한합니다. 우리의 알고리즘은 물체 모델에 무관하며, 손-물체 상호작용을 지배하는 물리 법칙을 학습합니다. 이를 위해서는 손과 (잠재적으로 알려지지 않은) 물체의 형태와 물리적 상호작용을 자동으로 추론해야 합니다. 우리는 이 어려운 문제를 해결하기 위해 두 개의 딥 네트워크 브랜치가 서로에게서 학습하는 협업 학습 전략을 제안합니다. 구체적으로, 손 메시 정보를 물체 브랜치로 전송하고 반대로 손 브랜치로도 전송합니다. 결과적으로 발생하는 최적화(훈련) 문제는 불안정할 수 있으며, 이를 두 가지 전략으로 해결합니다: (i) 상호 가림 현상을 식별하고 집중하는 데 도움이 되는 주의력 안내 그래프 컨볼루션 (attention-guided graph convolution) 및 (ii) 두 브랜치 간 정보 전송을 촉진하는 비지도 연관 손실 (unsupervised associative loss). 네 가지 널리 사용되는 벤치마크를 이용한 실험 결과, 우리의 프레임워크는 3D 자세 추정에서 최신 기술을 초월하는 정확도를 달성하였으며, 밀집된 3D 손 및 물체 형태도 복원하였습니다. 위의 각 기술 구성 요소는 소거 연구(ablation study)에서 의미 있게 기여하였습니다.