17일 전

Transformer를 활용한 사회적 그룹 활동 인식을 위한 그룹 클루즈 탐색

Masato Tamura, Rahul Vishwakarma, Ravigopal Vennelakanti
Transformer를 활용한 사회적 그룹 활동 인식을 위한 그룹 클루즈 탐색
초록

본 논문은 사회적 그룹 활동 인식을 위한 새로운 프레임워크를 제안한다. 그룹 활동 인식의 확장된 형태인 사회적 그룹 활동 인식은 여러 하위 그룹 활동을 인식하고 그룹 구성원을 식별하는 것을 요구한다. 기존 대부분의 방법들은 영역 특징을 정교화한 후 이를 활동 특징으로 요약하는 방식으로 두 가지 작업을 동시에 처리한다. 그러나 이러한 히우리스틱적 특징 설계는 사람의 위치가 불완전할 경우 특징의 효과성이 저하되며, 장면 맥락의 중요성을 간과하게 된다. 더불어, 영역 특징은 그 영역 내 사람들의 특징이 지배적이 되거나 의미적 해석이 다를 수 있기 때문에, 그룹 구성원을 식별하는 데 최적의 수단이 아니다. 이러한 문제를 해결하기 위해, 본 연구는 트랜스포머의 어텐션 모듈을 활용하여 효과적인 사회적 그룹 특징을 생성하는 방식을 제안한다. 본 방법은 어텐션 모듈을 통해 사회적 그룹 활동과 관련된 특징을 식별하고 집계함으로써 각 사회적 그룹에 대해 효과적인 특징을 생성하도록 설계되었다. 그룹 구성원 정보는 특징에 내장되어 있으며, 이를 피드포워드 네트워크를 통해 접근할 수 있다. 피드포워드 네트워크의 출력은 그룹을 매우 간결하게 표현하기 때문에, 그룹과 개별 개인 간의 단순한 헝가리안 매칭을 통해 그룹 구성원을 정확히 식별할 수 있다. 실험 결과, 본 방법은 볼리볼(Volleyball) 및 컬렉티브 액티비티(Collective Activity) 데이터셋에서 최신 기법들을 모두 상회하는 성능을 보였다.