신경망 모티프: 전역 컨텍스트를 활용한 시나리오 그래프 해석

우리는 시각적 장면의 구조화된 그래프 표현을 생성하는 문제를 연구합니다. 본 연구에서는 모티프(motifs)의 역할을 분석하는데, 이는 장면 그래프에서 규칙적으로 나타나는 하위 구조를 의미합니다. 우리는 Visual Genome 데이터셋에서 이러한 반복되는 구조에 대한 새로운 정량적 통찰력을 제시합니다. 우리의 분석 결과에 따르면 객체 라벨은 관계 라벨을 매우 잘 예측하지만, 그 역은 성립하지 않는 것으로 나타났습니다. 또한 더 큰 하위 그래프에서도 반복되는 패턴이 존재함을 발견했습니다: 50% 이상의 그래프가 최소 두 개 이상의 관계를 포함하는 모티프를 포함하고 있습니다. 우리의 분석은 새로운 기준선(baseline)을 제안하는데 동기를 부여합니다: 주어진 객체 검출 결과를 바탕으로 훈련 세트에서 가장 자주 나타난 객체 쌍 간의 관계를 예측하는 것입니다. 이 기준선은 평균적으로 3.6%의 상대적인 개선 효과를 보였으며, 이는 기존 최신 기술(state-of-the-art)보다 우수한 성능입니다. 이후 우리는 Stacked Motif Networks라는 새로운 아키텍처를 소개하는데, 이는 장면 그래프에서 고차 모티프(higher order motifs)를 포착하도록 설계되었습니다. 이 아키텍처는 강력한 기준선보다 평균적으로 7.1%의 상대적인 성능 향상을 보였습니다. 우리의 코드는 github.com/rowanz/neural-motifs에서 확인할 수 있습니다.