경로 수준 네트워크 변환을 통한 효율적인 아키텍처 검색

새로운 기능 보존 변환을 소개합니다. 이 네트워크 변환은 이전에 학습된 네트워크와 성공적인 아키텍처를 재사용하여 샘플 효율성을 향상시키는 것을 가능하게 합니다. 우리는 현재의 네트워크 변환 연산이 층 단위의 아키텍처 수정만 수행할 수 있다는 제한을 해결하고자 합니다. 예를 들어, 필터 추가(가지치기)나 층 삽입(제거) 등의 작업은 연결 경로의 위상을 변경할 수 없습니다. 우리가 제안하는 경로 단위 변환 연산은 메타 컨트롤러가 주어진 네트워크의 경로 위상을 수정하면서 가중치 재사용의 장점을 유지할 수 있게 하므로, Inception 모델과 같은 복잡한 경로 위상을 가진 효과적인 구조를 효율적으로 설계할 수 있습니다.또한, 간단하지만 매우 표현력 있는 트리 구조의 아키텍처 공간을 탐색하기 위한 양방향 트리 구조 강화학습 메타 컨트롤러를 제안합니다. 이 공간은 다중 분기 아키텍처의 일반화로 볼 수 있습니다. 우리는 제한된 계산 자원(약 200 GPU 시간)으로 이미지 분류 데이터셋에서 실험을 수행했으며, 개선된 매개변수 효율성과 더 나은 테스트 결과(14.3M 매개변수로 CIFAR-10에서 97.70% 테스트 정확도, 모바일 환경에서 ImageNet에서 74.6% Top-1 정확도)를 관찰했습니다. 이는 우리의 설계된 아키텍처가 효과적이고 전이 가능함을 입증합니다.