밀도 높고 다양성 있는 캡슐 네트워크: 캡슐을 더 잘 학습시키기

최근 몇 년간 딥 러닝 방법론에 대한 관심이 급증하며, 정확도가 빠르게 향상되고 계산 복잡도가 감소하는 추세를 보이고 있습니다. 특히, 컨벌루션 신경망(CNNs)을 사용한 구조는 이미지 분류 및 객체 인식 작업에서 최고 수준의 성능을 달성하였습니다. 최근 캡슐 네트워크(CapsNet)는 CNNs의 자세와 변형을 인코딩하는 고유한 제약 사항을 해결함으로써 성능이 크게 향상되었습니다. 이러한 발전에 영감을 받아, 우리는 더 나은 성과를 낼 수 있을지 질문하였습니다. 이를 위해 우리는 밀집 연결된 캡슐 네트워크(DCNet)와 다양성 캡슐 네트워크(DCNet++)를 제안합니다. 두 가지 제안된 프레임워크는 표준 컨벌루션 계층을 밀집 연결된 컨벌루션으로 대체하여 캡슐넷(CapsNet)을 개선합니다. 이는 다른 계층에서 학습된 특징 맵들을 주요 캡슐 형성에 활용하는 것을 돕습니다. DCNet은 본질적으로 더 깊은 컨벌루션 네트워크를 추가하여 차별화된 특징 맵 학습을 유도합니다. 또한, DCNet++는 공간 정보를 세밀하게부터 거칠게 표현하는 계층적 구조를 사용하여 복잡한 데이터 학습에 더욱 효율적입니다. 벤치마크 데이터셋을 사용한 이미지 분류 작업 실험 결과, 제안된 구조들의 효과성이 입증되었습니다. DCNet은 MNIST 데이터셋에서 기존 캡슐 네트워크(CapsNet)보다 20배 적은 전체 훈련 반복 횟수로 최고 수준의 성능(99.75%)을 달성하였습니다. 또한, DCNet++는 SVHN 데이터셋에서 캡슐 네트워크(CapsNet)보다 우수한 성능(96.90%)을 보였으며, CIFAR-10에서는 7개의 캡슐 네트워크 모델 앙상블보다 0.31% 높은 성능을 내면서 매개변수 수가 7배 줄어든 것으로 나타났습니다.