공정한 DARTS: 미분 가능 아키텍처 탐색에서 부당한 우위 제거

다이퍼렌셜 아키텍처 서치(DARTS)는 현재 가중치 공유 신경망 아키텍처 탐색 방법 중에서 널리 사용되고 있는 기법이다. 그러나 스킵 연결(skip connections)의 불가피한 집적 현상으로 인해 잘 알려진 성능 붕괴 문제를 겪고 있다. 본 논문에서는 이 문제의 근본 원인이 배타적 경쟁에서 발생하는 부당한 우위에 있음을 처음으로 밝혀낸다. 실험을 통해 두 조건 중 하나라도 위배되면 성능 붕괴가 사라짐을 보여주며, 이를 바탕으로 배타적 경쟁을 협력적 형태로 완화하는 새로운 접근법인 Fair DARTS를 제안한다. 구체적으로 각 연산의 아키텍처 가중치를 서로 독립적으로 설정한다. 그러나 여전히 이산화 불일치(discretization discrepancy)라는 중요한 문제를 해결해야 한다. 이를 위해 아키텍처 가중치가 0 또는 1에 가까워지도록 유도하는 0-1 손실(Zero-One Loss)을 제안하며, 이는 기대되는 멀티핫(multi-hot) 해를 근사한다. 실험은 두 가지 주류 탐색 공간에서 수행되었으며, CIFAR-10과 ImageNet에서 새로운 최고 성능(SOTA) 결과를 달성하였다. 본 연구의 코드는 https://github.com/xiaomi-automl/fairdarts 에 공개되어 있다.