2달 전
Actor-Centric Relation Network 액터-중심 관계 네트워크
Chen Sun; Abhinav Shrivastava; Carl Vondrick; Kevin Murphy; Rahul Sukthankar; Cordelia Schmid

초록
현재 최첨단의 시공간 행동 위치 추정 방법은 프레임 단위에서의 감지와 3D ConvNets를 사용하여 시간적 맥락을 모델링합니다. 본 연구에서는 이를 한 단계 더 발전시켜, 인간 행동자, 관련 객체 및 장면 요소 간의 상호작용을 포착하여 유사한 인간 행동을 구분하는 데 필수적인 시공간 관계를 모델링합니다. 우리의 접근 방식은 약간의 감독을 받으며, 행동자 중심 관계 네트워크(Actor-Centric Relational Network, ACRN)를 통해 관련 요소를 자동으로 추출합니다. ACRN은 행동자와 전역 장면 특징에서 쌍별 관계 정보를 계산하고 축적하여 행동 분류에 사용되는 관계 특징을 생성합니다. 이는 신경망으로 구현되며 기존의 행동 감지 시스템과 함께 공동 학습될 수 있습니다. 우리는 ACRN이 관계 정보를 포착하는 대안적인 접근 방식보다 우수하며, 제안된 프레임워크가 JHMDB와 AVA에서 최첨단 성능을 개선함을 보여줍니다. 학습된 관계 특징의 시각화 결과는 우리의 접근 방식이 각 행동에 대한 관련 관계에 주목할 수 있음을 확인해줍니다.