SalNAS: 효율적인 주의 예측 신경망 구조 탐색을 위한 자기 지식 증류 기법

최근 딥 컨볼루션 신경망의 발전으로 주목도 예측의 성능이 크게 향상되었습니다. 그러나 신경망 구조를 수동으로 구성하는 것은 전문 지식을 필요로 하며 여전히 시간이 많이 소요되고 오류가 발생하기 쉽습니다. 이를 해결하기 위해, 우리는 주목도 예측을 위한 두 가지 기여를 포함한 새로운 신경망 구조 탐색(NAS) 프레임워크를 제안합니다. 첫째, 모든 후보 구조를 포함하는 가중치 공유 네트워크를 통합하여 인코더-디코더에 동적 컨볼루션을 도입한 주목도 예측용 슈퍼넷(SalNAS)을 구축하였습니다. 둘째, SalNAS는 매우 효율적이지만(2098만 개의 매개변수), 일반화 능력이 부족할 수 있습니다. 이를 해결하기 위해, 우리는 교사 모델의 예측과 실제 값 사이의 가중 평균 정보로 학생 SalNAS를 훈련시키는 자기 지식 증류 접근법(Self-KD)을 제안합니다. 교사 모델은 같은 구조를 공유하지만, 크로스 밸리데이션을 통해 선택된 최고 성능의 가중치를 포함합니다. Self-KD는 교사 모델에서 그래디언트 계산이 필요하지 않기 때문에 효율적인 훈련 시스템을 가능하게 합니다. Self-KD를 활용함으로써, SalNAS는 7개 벤치마크 데이터셋에서 대부분의 평가 항목에서 다른 최신 주목도 예측 모델들을 능가하며 경량화된 모델입니다. 코드는 https://github.com/chakkritte/SalNAS 에서 제공될 것입니다.