17일 전

HardCoRe-NAS: 하드 제약 조건을 가진 미분 가능한 신경망 아키텍처 탐색

Niv Nayman, Yonathan Aflalo, Asaf Noy, Lihi Zelnik-Manor
HardCoRe-NAS: 하드 제약 조건을 가진 미분 가능한 신경망 아키텍처 탐색
초록

신경망의 실제 활용은 지연 시간, 에너지 소비, 메모리 용량 등 여러 가지 제약 조건을 동시에 만족해야 하는 경우가 많다. 이러한 적합한 네트워크를 찾기 위한 대표적인 접근 방식으로 제약 조건을 고려한 신경망 아키텍처 탐색(Neural Architecture Search, NAS)이 있다. 그러나 기존의 방법들은 제약 조건을 부드럽게(softly)만 적용하기 때문에, 최종적으로 도출된 네트워크는 자원 제약 조건을 정확히 충족하지 못하며 이로 인해 정확도가 저하되는 문제가 발생한다. 본 연구에서는 이를 해결하기 위해 예상 자원 요구량을 정확히 수식화하고, 탐색 과정 전반에 걸쳐 하드(hard) 제약 조건을 엄격히 만족시키는 확장 가능한 탐색 기법을 기반으로 한 '하드 제약 미분 가능한 신경망 아키텍처 탐색(Hard Constrained diffeRentiable NAS, HardCoRe-NAS)'을 제안한다. 실험 결과, HardCoRe-NAS는 다른 NAS 방법들을 능가하는 최신 기술 수준의 아키텍처를 생성하며, 추가적인 튜닝 없이도 하드 자원 제약 조건을 엄격히 준수함을 확인하였다.