행동 동시 발생 사전을 활용한 인간-객체 상호작용 탐지

인간-객체 상호작용(HOI) 탐지 작업에서 흔히 발생하는 문제는 많은 HOI 클래스들이 극히 적은 수의 레이블 예시만을 가지고 있어, 학습 데이터셋이 긴 꼬리 분포(long-tailed distribution)를 보이는 것이다. 이러한 클래스에 대한 긍정 레이블의 부족은 분류 정확도 저하를 초래할 수 있다. 이 문제를 해결하기 위해 우리는 인간-객체 상호작용 간 자연스러운 상관관계 및 반상관관계가 존재함을 관찰하였다. 본 논문에서는 이러한 상관관계를 동작 동시 발생 행렬(action co-occurrence matrices)로 모델링하고, 이러한 사전 지식(priors)을 학습하고 활용할 수 있는 기법을 제안하며, 특히 드문 클래스에서 더 효과적인 학습을 가능하게 한다. 실험적으로 제안한 방법의 유용성이 입증되었으며, 두 주요 HOI 탐지 벤치마크 데이터셋인 HICO-Det과 V-COCO에서 기존 최고 성능 기법들을 초월하는 성능을 달성하였다.