AEI: 적응형 주의를 활용한 행동-환경 상호작용을 통한 시간적 행동 제안 생성

사람들은 일반적으로 비디오에서 행동의 설립을 배우자와 주변 환경 사이의 상호작용을 통해 인식합니다. 비디오의 주요 배우자가 환경과 상호작용을 시작할 때 행동이 시작되며, 주요 배우자가 상호작용을 중단할 때 행동이 종료됩니다. 시간적 행동 제안 생성 분야에서 큰 발전이 이루어졌음에도 불구하고, 대부분의 기존 연구는 위와 같은 사실을 무시하고 모델 학습을 흑합으로 처리하였습니다. 본 논문에서는 이러한 인간의 능력을 시뮬레이트하기 위해 배우자-환경 상호작용 (Actor Environment Interaction, AEI) 네트워크를 제안하여 시간적 행동 제안 생성을 위한 비디오 표현을 개선하고자 합니다. AEI는 두 가지 모듈로 구성되어 있으며, 이는 지각 기반 시각적 표현 (Perception-based Visual Representation, PVR) 및 경계 일치 모듈 (Boundary-Matching Module, BMM)입니다. PVR은 제안된 적응형 주의 메커니즘을 사용하여 사람-사람 관계와 사람-환경 관계를 고려하여 각 비디오 조각(snippet)을 표현합니다. 그런 다음 BMM은 비디오 표현을 받아들여 행동 제안을 생성합니다. AEI는 ActivityNet-1.3 및 THUMOS-14 데이터셋에서 시간적 행동 제안 및 감지 작업에 대해 평가되었습니다. 여기에는 두 가지 경계 일치 구조(CNN 기반 및 GCN 기반)와 두 가지 분류기(Unet 및 P-GCN)가 사용되었습니다. 우리의 AEI는 뛰어난 성능과 일반화 능력을 바탕으로 시간적 행동 제안 생성과 시간적 행동 감지 모두에서 최신 방법들을 강력하게 능가하였습니다.