초록
라우팅 모델은 더 큰 네트워크 내 일부 컴포넌트를 통해 예시를 조건부로 전달하는 조건부 계산의 한 형태로, 최근 연구에서 유망한 결과를 보여주고 있다. 그러나 놀랍게도, 현재까지의 라우팅 모델은 아키텍처의 다양성과 많은 수의 라우팅 결정과 같은 중요한 특성을 결여하고 있다. 아키텍처의 다양성과 라우팅 깊이를 증가시키는 것은 라우팅 네트워크의 표현 능력을 향상시킬 수 있다. 본 연구에서는 이러한 두 가지 한계를 해결하고자 한다. 우리는 라우팅 모델에서 아키텍처 다양성의 중요성을 논의하며, 라우팅 깊이를 늘릴 때의 용량과 최적화 사이의 트레이드오프를 설명한다. 실험 결과, 라우팅 모델에 아키텍처 다양성을 도입하면 성능이 크게 향상되며, Omniglot 설정에서 강력한 베이스라인의 오류율을 35% 감소시킴을 확인하였다. 그러나 라우팅 깊이를 확장할 때, 현대적인 라우팅 기법들이 최적화 측면에서 어려움을 겪는다는 점을 발견하였다. 본 연구는 이러한 긍정적이고 부정적인 결과를 종합적으로 논의하며, 향후 연구 방향을 제안한다.