초록
최근 캡슐 네트워크에 관한 연구를 바탕으로, 우리는 입력 캡슐(이전 레이어의 캡슐)을 무시할 때의 총 비용과 사용할 때의 총 이익을 종합적으로 고려하여, 레이어 내 출력 캡슐을 활성화하는 새로운 일반적인 '의사결정 기반 라우팅(routing by agreement)' 방식을 제안한다. 제안한 라우팅 알고리즘의 유용성을 보여주기 위해, 시각과 언어라는 서로 다른 영역에 적용된 두 가지 캡슐 네트워크를 제시한다. 첫 번째 네트워크는 기존 캡슐 모델보다 파라미터 수가 적고, 훈련량이 한 차수 정도 적은 조건에서 smallNORB 시각 인식 과제에서 99.1%의 새로운 최고 성능을 달성하였으며, 이는 '역 그래픽스(Reverse Graphics)' 형태의 학습을 수행하고 있음을 시사하는 증거를 발견하였다. 두 번째 네트워크는 사전 훈련된 트랜스포머의 동결된 임베딩을 캡슐로 간주하여 단일 작업 모델로 라우팅을 수행함으로써, 스탠포드 감정 트리뱅크(SST)의 루트 문장에 대해 세밀한 레이블 기준으로 58.5%, 이진 레이블 기준으로 95.6%의 새로운 최고 성능을 달성하였다. 두 영역 모두 동일한 훈련 방식을 사용하여 훈련하였다. 코드는 https://github.com/glassroom/heinsen_routing 에 공개되며, 재현을 위한 지침도 함께 제공된다.