신경망의 성공은 특성 공학에서 구조 공학으로의 초점을 전환시키는 계기가 되었습니다. 그러나 오늘날 성공적인 신경망은 소수의 수동으로 정의된 빌딩 블록을 사용하여 구성됩니다. 심지어 신경망 구조 탐색(NAS) 방법에서도 네트워크 연결 패턴은 크게 제약되어 있습니다. 본 연구에서는 신경 연결을 발견하는 방법을 제안합니다. 우리는 일반적인 층의 개념을 완화하고 대신 채널들이 서로 독립적으로 연결을 형성할 수 있도록 합니다. 이로 인해 가능한 네트워크 공간이 훨씬 더 커집니다. 우리의 네트워크 연결은 학습 중에 고정되지 않습니다 -- 네트워크 매개변수를 학습하면서 동시에 구조 자체도 학습합니다. 실험 결과, 우리가 학습한 연결성이 수동으로 설계된 네트워크와 무작위로 연결된 네트워크보다 우수함을 입증하였습니다. MobileNetV1의 연결성을 학습함으로써 약 41M FLOPs에서 ImageNet 정확도를 10% 향상시킬 수 있었습니다. 또한, 우리의 방법이 순환형 및 연속 시간 네트워크에도 일반화됨을 보였습니다. 우리의 연구는 NAS 문제의 핵심 측면과 희소 신경망 학습을 통합하는 것으로도 해석될 수 있습니다. NAS가 더욱 세분화됨에 따라 좋은 아키텍처를 찾는 것은 완전 그래프에서 희소 하위 그래프를 찾는 것과 유사해집니다. 따라서, DNW(Dynamic Neural Wirings)는 단일 학습 과정에서 사전 정의된 아키텍처의 희소 하위 그래프를 발견하기 위한 효과적인 메커니즘을 제공합니다. 우리는 순방향 패스 동안 항상 소수의 가중치만 사용하지만, 여전히 조합론적 수의 하위 그래프와 함께 초기화 로터리(initialization lottery)를 진행합니다. 코드와 사전 학습 모델은 https://github.com/allenai/dnw에서 이용 가능하며, 추가 시각화 자료는 https://mitchellnw.github.io/blog/2019/dnw/에서 확인할 수 있습니다.