이동 가능한 상호작용 지식을 통한 인간-객체 상호작용 탐지

인간-객체 상호작용(HOI) 탐지는 인간이 객체와 어떻게 상호작용하는지를 이해하는 데 있어 중요한 문제이다. 본 논문에서는 인간과 객체 간에 상호작용이 이루어지는지 여부를 나타내는 '상호작용성 지식(interactiveness knowledge)'을 탐구한다. 우리는 이러한 상호작용성 지식이 다양한 HOI 데이터셋 간에 학습될 수 있으며, 서로 다른 HOI 카테고리 설정 간의 격차를 메울 수 있음을 발견하였다. 본 연구의 핵심 아이디어는 다수의 HOI 데이터셋에서 일반적인 상호작용성 지식을 학습하기 위해 상호작용 네트워크를 활용하고, 추론 시 HOI 분류 전에 비상호작용 억제(NIS, Non-Interaction Suppression)를 수행하는 것이다. 상호작용성의 일반화 능력 덕분에, 상호작용 네트워크는 이전 지식을 전이할 수 있는 학습자로서, 어떤 HOI 탐지 모델과도 유연하게 결합되어 우수한 성능을 달성할 수 있다. 우리는 인간 인스턴스와 신체 부위 특징을 함께 활용하여 계층적 패러다임, 즉 인스턴스 수준과 신체 부위 수준의 상호작용성을 학습한다. 이후, 더 깊은 상호작용 시각적 특징을 추출하고 학습을 안내하기 위해 일관성 작업(consistency task)을 제안한다. 제안된 방법은 HICO-DET, V-COCO 및 새로 구축한 PaStaNet-HOI 데이터셋에서 광범위하게 평가되었으며, 학습된 상호작용성 지식을 활용함으로써 최신 기술(SOTA) 수준의 HOI 탐지 방법들을 초월하는 성능을 보였다. 이는 제안 방법의 유효성과 유연성을 입증한다. 코드는 다음 링크에서 제공된다: https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network.