GreenMachine: 에너지 효율적인 NAS를 위한 제로 비용 프록시의 자동 설계

인공지능(AI)은 다양한 분야에서 혁신을 주도하고 새로운 기회를 창출하였습니다. 그러나 특정 영역의 지식을 활용하기 위해서는 모델을 효과적으로 설계하고 구성하기 위한 자동화된 도구가 필요합니다. 딥 뉴럴 네트워크(DNNs)의 경우, 연구자와 실무자들은 일반적으로 신경망 구조 탐색(NAS, Neural Architecture Search) 접근법을 사용하는데, 이는 많은 자원과 시간이 소요되며 여러 후보 구조의 학습과 평가가 필요합니다. 이로 인해 지속 가능성에 대한 우려가 제기되는데, 특히 높은 에너지 요구량 때문에 문제가 됩니다. 이를 해결하기 위해 가장 효과적인 모델을 추구하는 것이 지속 가능성 목표를 훼손할 수 있는 역설이 발생합니다. 이러한 문제를 완화하기 위해 비용이 들지 않는 프록시(zero-cost proxies)가 유망한 대안으로 등장하였습니다. 이러한 프록시는 전체 학습 없이도 모델의 성능을 예측하여 더 효율적인 접근 방식을 제공합니다. 본 논문에서는 DNNs를 효율적으로 평가하기 위해 비용이 들지 않는 프록시를 자동으로 설계하는 과정에서 직면하는 문제들을 다루고 있습니다. 우리의 방법은 비용이 들지 않는 프록시들의 무작위 집합으로 시작하여 NATS-Bench 벤치마크를 사용하여 진화시키고 테스트합니다. 우리는 검색 공간의 무작위 샘플링과 계층적 샘플링 전략을 통해 프록시들의 효과성을 평가하며, 저성능과 고성능 네트워크 사이의 차이를 구분하고 일반화 능력을 향상시키는 것을 확인하였습니다. 결과는 우리의 방법이 계층적 샘플링 전략에서 기존 접근 방식보다 우수함을 보여주며, NATS-Bench-SSS에서 CIFAR-10의 켄달 상관계수(Kendall correlation) 0.89와 CIFAR-100의 0.77, NATS-Bench-TSS에서 CIFAR-10의 0.78와 CIFAR-100의 0.71 등의 강한 실제 성능과의 상관관계를 달성하였습니다.