초록
상황 인식(Situation Recognition, SR)은 모델이 이미지의 주요 행동을 예측할 뿐만 아니라 해당 행동과 관련된 모든 의미적 역할(semantic roles)의 값을 예측해야 하는 세부적인 행동 인식 과제이다. 의미적 역할 예측은 매우 도전적인 과제이며, 의미적 역할에 해당할 수 있는 가능한 조합이 매우 방대하다. 기존 연구들은 이 문제를 해결하기 위해 종속성 모델링 아키텍처에 주목해왔다. 그러나 쿼리 기반 시각적 추론(예: 시각적 질의응답, Visual Question Answering)에서의 성공 사례를 영감으로 삼아, 본 연구에서는 의미적 역할 예측을 쿼리 기반 시각적 추론 문제로 접근한다. 그러나 기존의 쿼리 기반 추론 방법들은 SR에서 고유하게 요구되는 상호의존적인 쿼리 처리를 고려하지 않았다. 따라서 본 연구는 최초로 쿼리 기반 추론에서 상호의존적인 쿼리를 다루기 위한 방법론을 제안한다. 광범위한 실험을 통해 제안한 방법의 효과성을 입증하였으며, 상황 인식 과제에서 뛰어난 성능을 달성하였다. 또한, 쿼리 간의 상호의존성을 활용함으로써, 별도로 쿼리를 처리하는 기존 최상위 수준의 방법보다 성능을 개선하였다. 코드 공개: https://github.com/thilinicooray/context-aware-reasoning-for-sr