초록
캡슐 네트워크는 최근 제안된 신경망의 한 유형으로, 어려운 형태 인식 작업에서 대안들을 능가하는 것으로 나타났습니다. 캡슐 네트워크에서는 스칼라 뉴런이 캡슐 벡터나 행렬로 대체되며, 이들의 항목은 객체의 다양한 속성을 나타냅니다. 객체와 그 부분들 사이의 관계는 학습 가능한 시점 불변 변환 행렬을 통해 학습되며, 특정 객체의 존재 여부는 해당 객체의 부분들로부터 온 투표들의 일치도 수준에 의해 결정됩니다. 이러한 상호작용은 캡슐 계층 간에 발생하며, 이를 '일치를 통한 라우팅(routing-by-agreement)'이라고 합니다. 본 논문에서는 변분 베이즈(Variational Bayes) 방법을 사용하여 변환 가우시안 혼합 모델에 맞추기 위한 새로운 캡슐 라우팅 알고리즘을 제안합니다. 또한 이 알고리즘을 통해 우리의 캡슐 네트워크를 캡슐-VAE(Capsule-VAE)로 변환할 수 있음을 보여줍니다. 우리의 베이지안 접근 방식은 MLE 기반 모델들의 고유한 약점을 해결하는데 도움을 주는데, 예를 들어 캡슐 포즈 매개변수에 대한 불확실성을 모델링함으로써 분산 붕괴(variance-collapse) 문제를 해결합니다. 우리는 이전 보고보다 50% 적은 캡슐을 사용하여 smallNORB에서 최신 기술(SOTA)을 능가하였으며, CIFAR-10, 패션-MNIST, SVHN에서 경쟁력 있는 성능을 달성하였습니다. 또한 MNIST에서 affNIST로의 일반화 성능에서 이전 연구들보다 크게 개선되었음을 입증하였습니다.