NODIS: 신경미분방정식 기반 일반 장면 이해

시맨틱 이미지 이해는 컴퓨터 비전 분야에서 도전적인 주제이다. 이는 이미지 내 모든 객체를 탐지하는 것뿐만 아니라, 그들 간의 모든 관계를 식별하는 것을 요구한다. 탐지된 객체, 해당 객체의 레이블, 그리고 발견된 관계를 바탕으로 장면 그래프(semantic scene graph)를 구성할 수 있으며, 이는 이미지에 대한 추상적인 의미적 해석을 제공한다. 기존의 연구에서는 관계를 혼합정수선형계획(Mixed-Integer Linear Program, MILP)으로 구성된 할당 문제를 풀어 식별하였다. 본 연구에서는 이러한 수식을 보통 미분방정식(Ordinary Differential Equation, ODE)의 관점에서 재해석한다. 제안하는 아키텍처는 엔드투엔드 학습을 통해 ODE의 신경망 변형을 해결함으로써 장면 그래프 추론을 수행한다. 이 방법은 Visual Genome 벤치마크에서 세 가지 주요 벤치마크 과제—장면 그래프 생성(SGGen), 분류(SGCls), 시각적 관계 탐지(PredCls)—에 대해 최신 기술 수준의 성능을 달성하였다.