15일 전
다항 신경망을 활용한 딥 분류기의 강화
Grigorios G Chrysos, Markos Georgopoulos, Jiankang Deng, Jean Kossaifi, Yannis Panagakis, Anima Anandkumar

초록
딥 신경망은 객체 인식 및 오디오 인식과 같은 분류 과제에서의 성공을 이끄는 핵심 요소로 자리 잡았다. 최근 제안된 다양한 아키텍처들은 놀라운 성능과 일반화 능력을 달성하였으며, 그 중 다수는 서로 상관관계가 없는 듯 보인다. 본 연구에서는 이러한 깊은 분류 모델들을 통합된 프레임워크 하에서 탐구한다. 특히, 최첨단 아키텍처(예: 리즈idual 네트워크 및 비국소 네트워크)를 입력값에 대한 서로 다른 차수의 다항식 형태로 표현한다. 제안된 프레임워크는 각 모델의 유도 편향(inductive biases)에 대한 통찰을 제공하며, 다항식 성질을 기반으로 자연스러운 확장이 가능하게 한다. 제안된 모델의 효과성은 표준 이미지 및 오디오 분류 벤치마크에서 평가되었으며, 모델 성능 향상과 모델 압축 측면에서 제안 모델의 표현력이 두드러진다. 마지막으로, 본 분류 체계를 통해 가능해지는 확장은 데이터가 제한적이고 긴 꼬리 분포(long-tailed distributions)를 가진 환경에서 특히 유익함을 보여준다. 본 분류 체계가 기존의 도메인 특화 아키텍처들 사이의 연결고리가 되기를 기대한다. 소스 코드는 \url{https://github.com/grigorisg9gr/polynomials-for-augmenting-NNs}에서 제공된다.