초록
3D 손-물체 자세 추정은 많은 컴퓨터 비전 응용 프로그램의 성공을 위한 핵심 요소입니다. 이 작업의 주요 목표는 손과 물체 간의 상호작용을 효과적으로 모델링하는 것입니다. 이를 위해 기존 연구들은 계산량이 큰 반복 최적화에서 상호작용 제약을 활용하거나, 샘플링된 손과 물체 키포인트 사이의 희박한 상관관계만 고려하였습니다. 대조적으로, 우리는 손과 물체 사이의 미세한 의존성을 모델링할 수 있는 새로운 밀도 높은 상호 주의 메커니즘을 제안합니다. 구체적으로, 먼저 손과 물체 그래프를 그들의 메시 구조에 따라 구성합니다. 각 손 노드에 대해, 학습된 주의력을 통해 모든 물체 노드로부터 특징을 집계하고, 반대로 각 물체 노드에 대해서도 같은 과정을 수행합니다. 이러한 밀도 높은 상호 주의력 덕분에, 우리의 방법은 물리적으로 타당한 자세를 고품질로 생성하며 실시간 추론 속도를 제공할 수 있습니다. 대규모 벤치마크 데이터셋에서 수행된 광범위한 정량적 및 정성적 실험 결과, 우리의 방법이 최신 기술들을 능가함을 보여주었습니다. 코드는 https://github.com/rongakowang/DenseMutualAttention.git 에서 확인할 수 있습니다.