9일 전

다중 목적 진화적 딥 컨볼루션 신경망 설계: 이미지 분류를 위한 접근

Zhichao Lu, Ian Whalen, Yashesh Dhebar, Kalyanmoy Deb, Erik Goodman, Wolfgang Banzhaf, Vishnu Naresh Boddeti
다중 목적 진화적 딥 컨볼루션 신경망 설계: 이미지 분류를 위한 접근
초록

컨볼루션 신경망(CNN) 아키텍처의 초기 발전은 주로 인간의 전문 지식과 복잡한 설계 과정에 의해 이끌렸다. 최근에는 네트워크 설계 과정을 자동화하고 작업에 특화된 아키텍처를 생성하기 위해 신경망 아키텍처 탐색(Neural Architecture Search, NAS)이 제안되었다. 기존의 접근 방식은 이미지 분류 작업에서 경쟁력 있는 성능을 달성하고 있으나, 두 가지 이유로 계산 자원이 제한된 환경에서는 적합하지 않다. 첫째, 획득된 아키텍처는 분류 성능에만 최적화되거나, 특정 배포 환경에만 최적화되어 있다. 둘째, 대부분의 접근 방식에서 탐색 과정에 막대한 계산 자원이 요구된다. 이러한 제약을 극복하기 위해, 분류 성능과 부동소수점 연산(FLOPs)과 같은 다중 목적을 고려하여 신경망 아키텍처를 탐색하는 진화 알고리즘을 제안한다. 제안된 방법은 유전적 연산을 통해 아키텍처 구성 요소를 점진적으로 재조합하고 수정함으로써 전체 파레토 경계(Pareto frontier)를 근사하는 아키텍처 집합을 구성함으로써 첫 번째 한계를 해결한다. 또한, 탐색 과정 중 아키텍처를 철저히 축소하고, 과거 성공적인 아키텍처들 사이에서 공통적으로 나타나는 패턴을 베이지안 모델 학습을 통해 강화함으로써 계산 효율성을 향상시킨다. 이러한 두 가지 주요 기여를 통합함으로써, CIFAR, ImageNet 및 인간 흉부 X선 이미지 분류 벤치마크 데이터셋에서 수작업 및 자동 설계된 아키텍처 모두와 비교해 경쟁력 있는 성능을 발휘하고, 대부분의 경우 이를 초월하는 아키텍처를 효율적으로 설계할 수 있다. 다양한 계산 자원 요구 조건에 맞는 다수의 아키텍처 선택지를 동시에 제공하는 유연성은 본 연구의 접근 방식을 기존 연구와 구분짓는 중요한 특징이다. 코드는 다음 주소에서 공개되어 있다: https://github.com/mikelzc1990/nsganetv1

다중 목적 진화적 딥 컨볼루션 신경망 설계: 이미지 분류를 위한 접근 | 최신 연구 논문 | HyperAI초신경