초록
최근 몇 년간 개별 객체 인스턴스의 감지와 인식 분야에서 빠른 발전이 이루어졌습니다. 그러나 장면을 이해하기 위해서는 컴퓨터가 인간이 주변 객체와 어떻게 상호작용하는지를 인식해야 합니다. 본 논문에서는 인간-객체 상호작용(Human-Object Interaction, HOI)을 감지하는 어려운 과제를 다룹니다. 우리의 핵심 아이디어는 사람이나 객체 인스턴스의 외관이 상호작용 예측을 용이하게 하는 이미지의 관련 부분에 주목할 수 있는 유익한 단서를 포함한다는 것입니다. 이러한 단서를 활용하기 위해, 각 인스턴스의 외관에 따라 동적으로 이미지 영역을 강조하는 인스턴스 중심의 주의 모듈을 제안합니다. 이러한 주의 기반 네트워크는 HOI를 인식하는 데 필요한 특징들을 선택적으로 집계할 수 있게 해줍니다. 우리는 제안된 네트워크의 유효성을 Verb in COCO와 HICO-DET 데이터셋을 통해 검증하였으며, 실험 결과 우리의 접근법이 최신 연구들과 비교하여 우수함을 보여주었습니다.