초록
우리는 합성신경망(CNN)의 다양한 층을 전역 템플릿 뱅크에서 파라미터 텐서들의 학습된 선형 조합으로 정의하는 파라미터 공유 방안을 소개합니다. 템플릿의 수를 제한함으로써 전통적인 CNN과 순환 신경망 사이의 유연한 하이브리드 구조를 생성할 수 있습니다. 우리는 표준 이미지 분류 작업에서 전통적인 CNN에 비해 상당한 파라미터 절약 효과를 보여주면서도 정확성을 유지하는 것을 입증하였습니다.우리의 간단한 파라미터 공유 방안은 소프트 가중치로 정의되지만, 실제로는 종종 거의 엄격한 순환 구조를 갖춘 학습된 네트워크를 생성합니다. 이들 네트워크는 미미한 부작용만으로 실제 루프 구조로 변환될 수 있으며, 이러한 네트워크의 학습은 적절한 순환 아키텍처를 발견하는 과정을 내재화합니다. 순환 링크 설계 측면만 고려하더라도, 우리의 학습된 네트워크는 최신 신경망 아키텍처 탐색(NAS) 절차를 사용하여 구축된 네트워크와 경쟁력 있는 정확성을 달성하였습니다.또한, 순환과 합성 신경망의 하이브리드화는 유익한 아키텍처 편향을 나타낼 수도 있습니다. 특히 알고리즘적 성질을 가진 합성 작업에서는 우리의 하이브리드 네트워크가 더 빠르게 학습하며, 훈련 세트 범위 외의 테스트 예제에 대해 더 나은 추론 능력을 보여줍니다.