α DARTS 다시 보기: 마스킹 이미지 모델링을 통한 미분 가능 아키텍처 탐색의 개선

차별 가능한 아키텍처 탐색(DARTS)은 자동 기계 학습 분야에서 주류 방향으로 자리 잡았다. 기존 DARTS가 필연적으로 열악한 아키텍처로 수렴한다는 사실이 밝혀진 이후, 최근 연구들은 규칙 기반 아키텍처 선택 기법을 설계하거나 복잡한 정규화 기법을 도입함으로써 이 문제를 완화하고 있으나, 이는 아키텍처를 파라미터 값 $α$ 중 가장 큰 값을 기준으로 선택하는 원래 DARTS의 단순성이라는 장점을 포기하게 된다. 더불어 본 연구에서는 기존 모든 시도가 분류 레이블에만 의존하여 단일 모달 정보만을 학습함으로써 공유 네트워크의 표현력을 제한하고 있음을 발견하였다. 이를 해결하기 위해, 패치 복원(patch recovery) 방식을 제안하여 추가적으로 의미 정보(sematic information)를 주입한다. 구체적으로, 최근 주목받고 있는 마스킹 이미지 모델링 기법을 활용하면서 탐색 단계에서도 다운스트림 작업의 지침을 포기하지 않는다. 제안하는 방법은 복잡한 수작업 기반 전략 없이도 CIFAR-10, CIFAR-100, ImageNet에서 기존 모든 DARTS 변종을 능가하며 최신 기술 수준의 성능을 달성한다.