HOI 탐지에서 신체부위 상호작용성 학습을 위한 개인 간 신호 탐사

인간-객체 상호작용(HOI) 탐지는 활동 이해에서 핵심적인 역할을 한다. 비록 상당한 진전이 이루어졌지만, 상호작용성 학습은 여전히 HOI 탐지에서 도전적인 문제로 남아 있다. 기존의 방법들은 일반적으로 불필요한 음성 H-O 쌍 제안을 생성하고, 효과적으로 상호작용 쌍을 추출하지 못한다. 상호작용성은 전신 수준과 부위 수준 모두에서 연구되어 왔으며, H-O 쌍 형성에 기여해 왔지만, 이전 연구들은 오직 한 명의 대상 인물에만 초점을 맞추어(즉, 국소적 관점에서) 분석하고, 다른 인물들에 대한 정보를 간과하고 있다. 본 논문에서는 다수의 인물을 동시에 비교함으로써 보다 유용하고 보완적인 상호작용성 정보를 얻을 수 있다고 주장한다. 즉, 전역적 관점에서 신체 부위의 상호작용성을 학습하기 위해, 특정 대상 인물의 신체 부위 상호작용성을 분류할 때, 그 자체의 시각적 특징뿐 아니라 이미지 내 다른 인물들로부터의 정보도 탐색한다. 우리는 자기 주의(self-attention) 기반의 신체 부위 주목도 맵을 구성하여 다른 인물 간의 정보적 특징을 탐색하고, 모든 신체 부위 간의 통합적 관계를 학습한다. 제안한 방법은 널리 사용되는 기준 데이터셋인 HICO-DET 및 V-COCO에서 평가되었다. 새로운 전역적 관점에 기반한 종합적 글로벌-로컬 신체 부위 상호작용성 학습은 최첨단 기법들에 비해 뚜렷한 성능 향상을 달성하였다. 본 연구의 코드는 https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness 에서 공개되어 있다.