ParZC: 효율적인 NAS를 위한 파라메트릭 제로비용 프록시

최근 제로샷 신경망 아키텍처 탐색(Neural Architecture Search, NAS)의 발전은 제로코스트 대체 지표(zero-cost proxies)가 다양한 NAS 벤치마크에서 효과적임을 강조하고 있다. 여러 연구들은 제로샷 성능을 달성하기 위해 제로코스트 대체 지표의 자동 설계를 제안하고 있으나, 이 과정은 복잡하고 번거로운 탐색을 수반한다. 더불어 본 연구에서는 기존 제로코스트 대체 지표에 존재하는 핵심적인 문제점을 지적한다. 즉, 현재의 제로코스트 지표들은 신경망 내 각 노드의 통계치를 단순히 종합하나, 모든 노드가 성능 예측에 동일한 영향을 미친다는 가정을 하고 있다는 점이다. 우리의 관찰에 따르면, 각 노드의 제로코스트 통계치는 성능 예측에 기여하는 정도가 크게 달라지며, 각 노드는 고유한 불확실성 정도를 가진다. 이러한 통찰을 바탕으로, 파라미터화를 통해 제로코스트 대체 지표의 적응성과 유연성을 향상시키는 새로운 방법인 파라메트릭 제로코스트 대체 지표(Parametric Zero-Cost Proxies, ParZC) 프레임워크를 제안한다. 특히, 노드 간 차별화 부족 문제를 해결하기 위해, 베이지안 네트워크를 기반으로 한 믹서 아키텍처(Mixer Architecture with Bayesian Network, MABN)를 도입하여 노드별 제로코스트 통계를 탐색하고, 노드별 불확실성을 정량적으로 추정한다. 또한, 아키텍처 간 순위 차이를 보다 효과적으로 다루기 위해, DiffKendall이라는 손실 함수를 제안한다. 이 손실 함수는 편미분 가능한 방식으로 켄달의 타우(Kendall’s Tau) 계수를 직접 최적화함으로써, ParZC가 순위 불일치 문제를 보다 정교하게 처리할 수 있도록 한다. NAS-Bench-101, 201, 그리고 NDS에서 수행한 광범위한 실험을 통해, 제안한 ParZC가 기존 제로샷 NAS 방법들에 비해 뛰어난 성능을 보임을 입증하였다. 또한, 비전 트랜스포머(Vision Transformer) 탐색 공간으로의 전이를 통해 ParZC의 유연성과 적응 가능성도 실험적으로 검증하였다.