Π-네트: 딥 다항식 신경망

딥 컨볼루션 신경망(DCNNs)은 현재 컴퓨터 비전 및 머신러닝 분야에서 생성형(generative) 및 판별형(discriminative) 학습 모두에 있어 선호되는 방법이다. DCNNs의 성공은 특히 잔차 블록(residual blocks), 리쿠트형 활성화 함수(rectifiers), 고도화된 정규화 기법 등과 같은 구성 요소들을 철저히 선택한 데 기인한다. 본 논문에서는 새로운 유형의 DCNN인 $Π$-Nets를 제안한다. $Π$-Nets는 다항식 신경망(polynomial neural networks)에 속하며, 출력이 입력에 대한 고차 다항식으로 표현되는 특성을 지닌다. $Π$-Nets는 특수한 형태의 스케이프 연결(skip connections)을 사용하여 구현 가능하며, 그 파라미터는 고차 텐서(high-order tensors)를 통해 표현할 수 있다. 실증적으로 $Π$-Nets가 기존의 표준 DCNN보다 더 뛰어난 표현 능력을 지녔음을 입증하였으며, 이미지, 그래프, 오디오 등 다양한 작업과 신호에 대해 비선형 활성화 함수를 사용하지 않아도 우수한 성능을 발휘함을 확인하였다. 활성화 함수와 함께 사용될 경우, $Π$-Nets는 이미지 생성과 같은 도전적인 과제에서 최신 기술 수준의 성능을 달성한다. 마지막으로, 본 연구 프레임워크는 최근의 생성 모델, 예를 들어 StyleGAN이 이전 모델인 ProGAN보다 개선된 이유를 명확히 설명한다.