초록
최근의 최신 HOI(인물-물체 상호작용) 검출 방법은 일반적으로 두 개의 디코더 브랜치를 가진 트랜스포머 아키텍처를 기반으로 합니다. 하나는 인물-물체 쌍 검출을 위한 것이고, 다른 하나는 상호작용 분류를 위한 것입니다. 그러나 이러한 분리된 트랜스포머는 브랜치 간 충분한 문맥 교환이 이루어지지 않아 관계 추론에 필요한 문맥 정보가 부족해질 수 있습니다. 이는 HOI 인스턴스를 발견하는 데 중요한 요소입니다.본 연구에서는 unary, pairwise, 그리고 ternary 관계를 이용하여 세 개의 디코더 브랜치 간 풍부한 문맥 교환을 수행하는 multiplex relation network (MUREN)을 제안합니다. 제안된 방법은 HOI 인스턴스를 발견하기 위해 포괄적인 관계 문맥을 학습하며, HICO-DET와 V-COCO라는 두 가지 표준 벤치마크에서 최고 수준의 성능을 달성하였습니다.