ABN: Agent-Aware Boundary Networks for Temporal Action Proposal Generation ABN: 에이전트 인식 경계 네트워크를 이용한 시간적 행동 제안 생성

시간적 행동 제안 생성(TAPG)은 비편집된 동영상에서 행동의 시간 구간을 추정하는 것을 목표로 하는데, 이는 동영상 분석 및 이해의 여러 작업에서 도전적이면서도 중요한 역할을 합니다. TAPG에서 큰 성과를 거두었음에도 불구하고, 대부분의 기존 연구에서는 깊은 학습 모델을 비편집된 동영상에 블랙박스처럼 적용하여 동영상 시각적 표현을 추출하는 과정에서 에이전트와 주변 환경 간의 상호작용에 대한 인간의 인식을 무시하고 있습니다. 따라서, 이러한 에이전트와 환경 간의 상호작용을 포착할 수 있다면 TAPG의 성능 향상에 유익하며 잠재적으로 개선될 수 있습니다. 본 논문에서는 에이전트 간 관계와 에이전트-환경 관계를 동영상 표현에서 얻기 위한 (i) 에이전트 인식 표현 네트워크(Agent-Aware Representation Network)와 (ii) 시간 구간의 신뢰도 점수를 추정하기 위한 경계 생성 네트워크(Boundary Generation Network)로 구성된 새로운 프레임워크인 에이전트 인식 경계 네트워크(ABN)를 제안합니다. 에이전트 인식 표현 네트워크에서는 에이전트 간 상호작용은 로컬 패스웨이(local pathway)를 통해 표현되며, 이는 로컬 수준에서 작동하여 에이전트들의 움직임에 집중합니다. 반면, 주변 환경에 대한 전체적인 인식은 글로벌 패스웨이(global pathway)를 통해 표현되며, 이는 글로벌 수준에서 작동하여 에이전트-환경 효과를 인식합니다. C3D, SlowFast, Two-Stream 등의 다양한 백본 네트워크를 사용한 20개 행동 THUMOS-14 데이터셋과 200개 행동 ActivityNet-1.3 데이터셋에 대한 종합적인 평가 결과, 제안된 ABN은 사용된 백본 네트워크와 상관없이 TAPG에서 최신 방법론들을 안정적으로 능가함을 보였습니다. 또한, 본 방법론으로 생성된 제안들을 시간적 행동 감지(TAD) 프레임워크에 활용하여 그 감지 성능을 평가하였습니다. 소스 코드는 다음 URL에서 확인할 수 있습니다: https://github.com/vhvkhoa/TAPG-AgentEnvNetwork.git.