PC-DARTS: 부분 채널 연결을 이용한 메모리 효율적인 아키텍처 검색

다양한 구조 탐색(Differentiable Architecture Search, DARTS)은 효과적인 네트워크 구조를 찾는 데 빠른 해결책을 제공했지만, 슈퍼네트워크와 최적의 구조를 동시에 훈련시키면서 큰 메모리 및 계산 부하를 겪었습니다. 본 논문에서는 네트워크 공간 탐색에서 중복성을 줄이기 위해 슈퍼네트워크의 작은 부분만 샘플링하는 새로운 접근 방식인 부분 연결 DARTS(Partially-Connected DARTS)를 제시합니다. 이 방법은 성능을 저하시키지 않으면서 더 효율적인 탐색을 수행할 수 있습니다. 특히, 채널의 하위 집합에서 연산 탐색을 수행하면서 나머지 부분은 단축선으로 우회합니다. 이 전략은 서로 다른 채널을 샘플링함으로써 슈퍼넷의 엣지를 선택하는 과정에서 원하지 않는 불일치가 발생할 수 있다는 문제를 가지고 있습니다. 우리는 엣지 정규화(edge normalization)를 사용하여 이를 완화하는데, 이는 검색 과정에서 불확실성을 줄이기 위해 새로운 엣지 수준 매개변수 집합을 추가합니다. 메모리 비용이 감소한 덕분에 PC-DARTS는 더 큰 배치 크기로 훈련될 수 있으며, 그 결과 속도가 더 빠르고 훈련 안정성이 높아집니다. 실험 결과는 제안된 방법의 유효성을 입증합니다. 구체적으로, CIFAR10에서 구조 탐색에 0.1 GPU-일만 사용하여 2.57%의 오류율을 달성하였으며, ImageNet(모바일 설정 하에서)에서는 3.8 GPU-일로 24.2%의 최상위 오류율(top-1 error rate)을 기록하였습니다. 우리의 코드는 다음 주소에서 이용 가능합니다: https://github.com/yuhuixu1993/PC-DARTS.