서브디비전 기반 메시 컨볼루션 네트워크

2차원 컴퓨터 비전 분야에서 합성곱 신경망(Convolutional Neural Networks, CNNs)은 큰 성과를 거두었다. 그러나 메시(mesh) 구조는 불규칙하기 때문에, CNN의 잠재력을 메시에 직접 활용하는 것은 어렵다. 서브디비전 표면(Subdivision surface)은 계층적 다중 해상도 구조를 제공하며, 폐쇄된 2차원 면적을 구성하는 삼각형 메시의 각 면은 정확히 세 개의 면과 인접하게 된다. 이러한 두 가지 관찰에 착안하여, 본 논문은 Loop 서브디비전 순서 연결성을 갖는 3차원 삼각형 메시를 위한 혁신적이고 유연한 CNN 프레임워크인 SubdivNet을 제안한다. 2차원 이미지의 픽셀과 메시의 면 사이에 유사성을 적용함으로써, 근접한 면들로부터 국소적인 특징을 집계하는 메시 합성곱 연산자(mesh convolution operator)를 제안한다. 면의 이웃 관계를 활용함으로써, 이 합성곱 연산은 표준 2차원 CNN의 개념들—예를 들어 가변 커널 크기, 스트라이드, 확장(dilation)—를 지원할 수 있다. 다중 해상도 계층 구조를 기반으로, 네 개의 면을 균일하게 하나로 병합하는 풀링 레이어와 하나의 면을 네 개로 분할하는 업샘플링 방법을 도입하였다. 이를 통해 많은 인기 있는 2차원 CNN 아키텍처들을 3차원 메시 처리에 쉽게 적응시킬 수 있다. 임의의 연결성을 갖는 메시는 자기 매개변수화(self-parameterization)를 통해 Loop 서브디비전 순서 연결성을 갖도록 리메시(remeshing)할 수 있어, SubdivNet은 일반적인 접근법이 될 수 있다. 광범위한 평가 및 다양한 응용 사례를 통해 SubdivNet의 효과성과 효율성이 입증되었다.