GPS-Net: 장면 그래프 생성을 위한 그래프 속성 감지 네트워크

장면 그래프 생성(Scenario Graph Generation, SGG)은 이미지 내 객체를 탐지함과 동시에 그들 간의 쌍별 관계를 추출하는 것을 목표로 한다. 최근 연구에서 다루어지지 않은 장면 그래프의 세 가지 핵심 특성은, 간선의 방향 정보, 노드 간 우선순위의 차이, 그리고 관계의 긴 꼬리 분포(long-tailed distribution)이다. 본 논문에서는 이러한 세 가지 특성을 철저히 탐색하는 그래프 특성 감지 네트워크(Graph Property Sensing Network, GPS-Net)를 제안한다. 첫째, 노드별 맥락 정보를 노드 특성에 보완하고, 삼선형 모델(tri-linear model)을 통해 간선의 방향 정보를 인코딩하는 새로운 메시지 전달 모듈을 제안한다. 둘째, 훈련 과정에서 노드 간 우선순위의 차이를 반영하기 위해 노드 우선순위 민감 손실(loss)을 도입한다. 이는 포커스 손실(focal loss)의 집중 파라미터를 조정할 수 있도록 설계된 매핑 함수를 통해 실현된다. 셋째, 관계의 빈도가 긴 꼬리 분포 문제에 의해 영향을 받기 때문에, 먼저 분포를 부드럽게 하고, 이후 각 주어-목적어 쌍의 시각적 특성에 따라 조정 가능한 방식으로 이를 보완함으로써 이 문제를 완화한다. 체계적인 실험을 통해 제안된 기법들의 효과성을 입증하였다. 또한, 다양한 설정과 평가 지표에서 VG, OI, VRD 세 가지 대표적인 데이터베이스에서 최신 기술(SOTA) 수준의 성능을 달성하였다. 코드 및 모델은 \url{https://github.com/taksau/GPS-Net}에서 공개되어 있다.