상징적 그래프 추론이 컨볼루션과 만난다

지역적 컨볼루션 네트워크를 넘어서, 본 연구에서는 다양한 외부 인간 지식을 활용하여 네트워크에 의미론적 글로벌 추론 능력을 부여하는 방법을 탐구한다. 더 넓은 의존성 구조를 모델링하기 위해 별도의 그래픽 모델(CRF 등)이나 제약 조건을 사용하는 대신, 사전 지식 그래프 내 각 의미에 대한 다양한 특성을 명시적으로 표현하는 심볼릭 노드 그룹을 대상으로 추론을 수행하는 새로운 '심볼릭 그래프 추론(Symbolic Graph Reasoning, SGR)' 레이어를 제안한다. 지역적 컨볼루션과의 협업을 위해 각 SGR 레이어는 세 가지 모듈로 구성된다. 첫째, 지역 표현에서 심볼릭 노드의 특징을 투표 방식으로 생성하는 '기본 지역-의미 투표 모듈'이며, 둘째, 지식 그래프를 통해 정보를 전파함으로써 글로벌 의미 일관성(semantic coherency)을 달성하는 '그래프 추론 모듈', 셋째, 진화된 심볼릭 노드와 지역 표현 간의 새로운 관계를 학습하는 '이중 의미-지역 매핑 모듈'로, 이는 지역 특징을 향상시킨다. SGR 레이어는 임의의 컨볼루션 레이어 사이에 삽입 가능하며, 서로 다른 사전 지식 그래프를 기반으로 구체화할 수 있다. 광범위한 실험 결과에 따르면, SGR을 도입함으로써 기존의 ConvNet이 세 가지 의미 분할 작업과 하나의 이미지 분류 작업에서 크게 성능 향상을 보였다. 추가 분석 결과, 동일한 보편적 지식 그래프를 기반으로 하더라도, 레이블 집합이 다른 도메인이나 데이터셋에 대해 SGR 레이어가 공통적인 심볼릭 표현을 학습함을 확인하였으며, 이는 그 뛰어난 일반화 능력을 입증한다.