딥 다항 신경망

딥 컨볼루션 신경망(DCNNs)은 현재 컴퓨터 비전 및 머신러닝 분야에서 생성형 학습과 분류형 학습 모두에 있어 주로 사용되는 방법이다. DCNN의 성공은 그 구성 요소(예: 리지드 블록, 렉티파이어, 고도화된 정규화 기법 등)의 철저한 선택에 기인한다. 본 논문에서는 다항 전개를 기반으로 한 새로운 종류의 함수 근사기인 $Π$-Nets를 제안한다. $Π$-Nets는 다항 신경망으로, 출력이 입력에 대한 고차 다항식으로 표현된다. 미지의 매개변수는 자연스럽게 고차 텐서로 표현되며, 이는 공유되는 요소를 갖는 집합적 텐서 분해를 통해 추정된다. 본 연구에서는 매개변수 수를 크게 감소시키는 세 가지 텐서 분해 기법을 제안하고, 이를 계층적 신경망을 통해 효율적으로 구현하는 방법을 보여준다. 실험적으로 $Π$-Nets가 매우 강력한 표현 능력을 지니며, 이미지, 그래프, 음성과 같은 다양한 작업 및 신호에 대해 비선형 활성화 함수 없이도 우수한 성능을 달성함을 입증하였다. 활성화 함수와 결합하여 사용할 경우, $Π$-Nets는 이미지 생성, 얼굴 인증, 3D 메시 표현 학습이라는 세 가지 도전적인 과제에서 최신 기술 수준의 성능을 기록한다. 소스 코드는 \url{https://github.com/grigorisg9gr/polynomial_nets}에서 제공된다.