2달 전

FairNAS: 가중치 공유 신경망 아키텍처 검색의 평가 공정성 재고

Xiangxiang Chu; Bo Zhang; Ruijun Xu
FairNAS: 가중치 공유 신경망 아키텍처 검색의 평가 공정성 재고
초록

가중치 공유 신경망 구조 탐색에서 가장 중요한 문제 중 하나는 사전 정의된 탐색 공간 내에서 후보 모델을 평가하는 것이다. 실제로, 일회용 슈퍼넷(one-shot supernet)이 평가자로서 훈련된다. 충실한 순위 매기는 더 정확한 탐색 결과를 이끌어내지만, 현재 방법들은 잘못된 판단을 하기 쉽다. 본 논문에서는 이러한 편향된 평가가 슈퍼넷 훈련에 내재된 불공정성으로 인해 발생한다는 것을 증명한다. 이를 고려하여, 우리는 기대 공정성(expectation fairness)과 엄격한 공정성(strict fairness)이라는 두 단계의 제약 조건을 제안한다. 특히, 엄격한 공정성은 훈련 과정에서 모든 선택 블록(choice block)에게 동등한 최적화 기회를 제공함으로써, 그들의 능력을 과대평가하거나 과소평가하지 않는다. 우리는 이 점이 모델의 순위 매기기 신뢰성을 개선하는 데 매우 중요하다는 것을 보여준다. 제안된 공정성 제약 조건 하에 훈련된 일회용 슈퍼넷과 다목적 진화 탐색 알고리즘을 결합하여, 다양한 최신 모델들을 얻었다. 예를 들어, FairNAS-A는 ImageNet에서 77.5%의 Top-1 검증 정확도를 달성하였다. 이 모델들과 그 평가 코드는 온라인으로 공개되어 있다 (http://github.com/fairnas/FairNAS).

FairNAS: 가중치 공유 신경망 아키텍처 검색의 평가 공정성 재고 | 최신 연구 논문 | HyperAI초신경