17일 전

다중 조건 그래프 확산을 이용한 신경망 아키텍처 탐색

Rohan Asthana, Joschua Conrad, Youssef Dawoud, Maurits Ortmanns, Vasileios Belagiannis
다중 조건 그래프 확산을 이용한 신경망 아키텍처 탐색
초록

신경망 아키텍처 탐색(Neural Architecture Search, NAS)은 일반적으로 큰 규모이자 복잡한 아키텍처 탐색 공간을 탐색함으로써 신경망 아키텍처 설계를 자동화합니다. 아키텍처 탐색의 발전을 위해, 우리는 이산 조건부 그래프 확산 프로세스를 활용하여 고성능 신경망 아키텍처를 생성하는 그래프 확산 기반의 NAS 접근법을 제안합니다. 또한, 그래프 확산 네트워크에 적용 가능한 다중 조건 기반의 분류기 없는 안내( classifier-free guidance) 방식을 제안하여 정확도가 높고 하드웨어 지연 시간이 낮은 등의 제약 조건을 동시에 부여합니다. 기존 연구들과 달리, 본 연구 방법은 완전히 미분 가능하며 단일 모델 학습만으로도 충분합니다. 평가 결과, 여섯 가지 표준 벤치마크에서 유망한 성능을 보였으며, 아키텍처당 0.2초 미만의 빠른 속도로 새로운 독창적인 아키텍처를 생성할 수 있음을 입증하였습니다. 더불어, ImageNet 데이터셋을 대상으로 한 실험을 통해 제안한 방법의 일반화 능력과 효율성을 추가로 입증하였습니다.

다중 조건 그래프 확산을 이용한 신경망 아키텍처 탐색 | 최신 연구 논문 | HyperAI초신경