초록
우리는 이미지 질문 응답(ImageQA) 문제를 해결하기 위해 질문에 따라 적응적으로 가중치가 결정되는 동적 매개변수 레이어를 갖는 합성곱 신경망(CNN)을 학습하는 방법을 제안합니다. 이 적응적 매개변수 예측을 위해 별도의 매개변수 예측 네트워크를 사용하는데, 이 네트워크는 질문을 입력으로 받는 게이트 순환 유닛(GRU)과 후보 가중치 집합을 출력으로 생성하는 완전 연결 레이어로 구성됩니다. 그러나 CNN의 완전 연결 동적 매개변수 레이어에서 많은 수의 매개변수에 대한 매개변수 예측 네트워크를 구축하는 것은 어려운 문제입니다. 우리는 이 문제의 복잡성을 줄이기 위해 해싱 기술을 도입하여, 매개변수 예측 네트워크가 제공한 후보 가중치들을 사전 정의된 해시 함수를 사용하여 동적 매개변수 레이어의 개별 가중치를 결정하도록 합니다. 제안된 네트워크---ImageQA용 CNN과 매개변수 예측 네트워크가 결합된 네트워크---는 사전 학습된 CNN과 GRU의 가중치로 초기화된 상태에서 역전파를 통해 엔드 투 엔드로 학습됩니다. 제안된 알고리즘은 모든 공개 ImageQA 벤치마크에서 최고 수준의 성능을 보여줍니다.