가짜 조합 학습을 통한 인간-물체 상호작용 감지

인물-객체 상호작용(Human-Object Interaction, HOI) 감지는 이미지나 비디오에서 인물과 객체 간의 관계를 추론하는 고급 장면 이해의 기본적인 과제입니다. 그러나 HOI 감지는 일반적으로 객체와의 상호작용이 열린 긴 꼬리 분포(open long-tailed nature)를 가지기 때문에 어려움을 겪습니다. 반면에 인간은 매우 강력한 구성적 인식 능력을 가지고 있어 드문 또는 보지 못한 HOI 샘플을 인식할 수 있습니다. 이 점에서 영감을 받아, 우리는 이러한 문제를 해결하기 위해 새로운 HOI 구성 학습 프레임워크인 제작된 구성 학습(Fabricated Compositional Learning, FCL)을 설계하였습니다.구체적으로, 우리는 효과적인 객체 표현을 생성하기 위한 객체 제작자를 도입하고, 동사와 제작된 객체를 결합하여 새로운 HOI 샘플을 구성합니다. 제안된 객체 제작자를 통해 우리는 드문 및 보지 못한 범주에 대한 대규모 HOI 샘플을 생성하여 HOI 감지에서의 열린 긴 꼬리 문제를 완화할 수 있습니다. 가장 인기 있는 HOI 감지 데이터셋인 HICO-DET에서 수행된 광범위한 실험은 불균형한 HOI 감지에 대한 본 방법의 유효성을 입증하며, 특히 드문 및 보지 못한 HOI 범주에서 최신 기술(state-of-the-art) 성능을 크게 향상시키는 것으로 나타났습니다. 코드는 https://github.com/zhihou7/HOI-CL에서 확인할 수 있습니다.