Uniform Sampling을 사용한 Single Path One-Shot 신경망 아키텍처 검색

우리는 원샷 신경망 구조 탐색(NAS) 패러다임을 재검토하고 기존 NAS 접근 방식에 비해 그 장점을 분석합니다. 그러나 기존의 원샷 방법은 훈련이 어려우며 ImageNet과 같은 대규모 데이터셋에서는 아직 효과적이지 않습니다. 이 연구는 이러한 훈련 문제를 해결하기 위해 단일 경로 원샷(Single Path One-Shot) 모델을 제안합니다. 우리의 핵심 아이디어는 모든 구조가 단일 경로인 간단한 슈퍼넷(supernet)을 구성하여 가중치 공적응(weight co-adaptation) 문제를 완화하는 것입니다. 훈련은 균등한 경로 샘플링(uniform path sampling)을 통해 수행됩니다. 모든 구조와 그 가중치는 완전히 그리고 동등하게 훈련됩니다.포괄적인 실험을 통해 우리의 접근 방식이 유연하고 효과적임을 확인하였습니다. 이 방법은 훈련이 쉽고 탐색이 빠릅니다. 또한 복잡한 탐색 공간(예: 빌딩 블록, 채널, 혼합 정밀도 양자화(mixed-precision quantization))과 다양한 탐색 제약 조건(예: FLOPs, 지연 시간(latency))을 쉽게 지원합니다. 따라서 다양한 용도에 편리하게 사용할 수 있습니다. 이 방법은 대규모 데이터셋인 ImageNet에서 최신 성능을 달성하였습니다.