그래프 신경망을 이용한 상황 인식

우리는 이미지에서 상황을 인식하는 문제를 다룹니다. 주어진 이미지에 대해 가장 눈에 띄는 동사(행동)를 예측하고, 행동을 수행하는 주체, 행동의 출처와 대상 등과 같은 의미 역할을 채우는 것이 목표입니다. 다른 동사는 서로 다른 역할을 가지며(예: 공격은 무기), 각 역할은 여러 가능한 값(명사)을 가질 수 있습니다. 우리는 그래프 상에서 정의된 신경망을 사용하여 역할 간의 공동 의존성을 효율적으로 포착할 수 있는 그래프 신경망 기반 모델을 제안합니다. 다양한 그래프 연결성에 대한 실험 결과, 우리의 접근 방식이 역할 간 정보 전파를 통해 기존 연구 및 여러 베이스라인보다 크게 우수함을 보여주었습니다. 전체 상황 예측에서 이전 연구보다 약 3-5% 개선된 성능을 달성하였습니다. 또한, 모델의 질적 분석과 동사의 다양한 역할이 미치는 영향에 대해 철저히 조사하였습니다.