17일 전

비지도 아키텍처 표현 학습은 신경망 아키텍처 탐색에 도움이 되는가?

Shen Yan, Yu Zheng, Wei Ao, Xiao Zeng, Mi Zhang
비지도 아키텍처 표현 학습은 신경망 아키텍처 탐색에 도움이 되는가?
초록

기존의 신경망 아키텍처 탐색(NAS) 기법들은 이산적 표현을 사용하는 경우가 많아 스케일링에 어려움이 있으며, 또는 아키텍처 표현을 공동 학습하고 해당 표현 위에서 아키텍처 탐색을 최적화하는 지도학습 기반 방법을 채택하지만, 이는 탐색 편향을 초래한다. 이러한 방법은 널리 사용되고 있지만, NAS에서 학습된 아키텍처 표현의 본질은 여전히 잘 이해되지 않고 있다. 우리는 아키텍처 표현 학습과 탐색이 결합되어 있을 경우 신경망 아키텍처의 구조적 특성이 잠재 공간에서 잘 보존되지 않아 탐색 성능이 저하됨을 관찰하였다. 본 연구에서는 신경망 아키텍처의 정확도와 같은 레이블 없이 오직 신경망 아키텍처만을 사용해 사전 학습(pre-training)하는 방식이 하류 아키텍처 탐색의 효율성을 상당히 향상시킨다는 것을 실험적으로 발견하였다. 이러한 현상을 설명하기 위해, 비지도 아키텍처 표현 학습이 유사한 연결 구조와 연산자를 가진 신경망 아키텍처들이 더 잘 군집되도록 유도하는 방식을 시각화하였다. 이는 유사한 성능을 가지는 신경망 아키텍처들이 잠재 공간 내 동일한 영역에 매핑되게 하며, 잠재 공간 내 아키텍처 간 전이가 상대적으로 부드럽게 이루어지게 하여 다양한 하류 탐색 전략에 크게 기여함을 보여준다.

비지도 아키텍처 표현 학습은 신경망 아키텍처 탐색에 도움이 되는가? | 최신 연구 논문 | HyperAI초신경