초록
시각적 장면을 이해하는 것은 개별 객체를 단독으로 인식하는 것을 넘어서는 것입니다. 객체 간의 관계도 장면에 대한 풍부한 의미 정보를 구성합니다. 본 연구에서는 이미지의 시각적으로 기반을 둔 그래픽 구조인 시나리오 그래프(scene graphs)를 사용하여 객체와 그들의 관계를 명시적으로 모델링하였습니다. 우리는 입력 이미지로부터 이러한 구조화된 장면 표현을 생성하는 새로운 엔드투엔드(end-to-end) 모델을 제안합니다. 이 모델은 표준 RNNs(재귀 신경망)을 사용하여 시나리오 그래프 추론 문제를 해결하고, 메시지 패싱(message passing)을 통해 예측을 반복적으로 개선하도록 학습됩니다. 우리의 공동 추론 모델은 문맥적 힌트(contextual cues)를 활용하여 객체와 그들의 관계에 대한 더 나은 예측을 할 수 있습니다. 실험 결과, 우리의 모델이 Visual Genome 데이터셋과 NYU Depth v2 데이터셋을 사용하여 시나리오 그래프 생성 및 지지 관계 추론에서 이전 방법들을 크게 능가함을 보여주고 있습니다.