초록
이미지 인식을 위한 신경망은 단순한 체인 형태의 모델에서 여러 경로를 가진 구조로 발전해 왔습니다. ResNets와 DenseNets의 성공은 주로 그들의 혁신적인 연결 방식에 기인합니다. 현재, 신경망 아키텍처 검색(NAS) 연구에서는 연결 방식과 연산 유형의 공동 최적화를 탐구하고 있지만, 가능한 연결 공간은 여전히 제약을 받으며 수동 설계에 의해 주도되고 있습니다. 본 논문에서는 무작위 연결된 신경망의 관점에서 더 다양한 연결 패턴을 탐색합니다. 이를 위해 먼저 전체 네트워크 생성 과정을 포괄하는 확률적 네트워크 생성기(stochastic network generator)의 개념을 정의합니다. 이 포괄적인 접근법은 NAS와 무작위 연결된 네트워크에 대한 통합된 시각을 제공합니다. 그런 다음, 세 가지 고전적인 무작위 그래프 모델을 사용하여 네트워크용 무작위 연결 그래프를 생성합니다. 결과는 놀랍습니다: 이러한 무작위 생성기의 몇 가지 변형이 ImageNet 벤치마크에서 경쟁력 있는 정확도를 보이는 네트워크 인스턴스를 생성하였습니다. 이러한 결과는 새로운 노력을 통해 더 제약이 적은 탐색 공간에서 혁신적인 설계가 가능하도록 더 나은 네트워크 생성기를 설계함으로써 새로운 돌파구가 이루어질 수 있음을 시사합니다.