Hybrid Connectivity를 활용한 이미지 분류를 위한 Gated Convolutional Networks

우리는 DenseNet의 중복성을 크게 줄이는 간단하면서도 효과적인 방법을 제안합니다. 이 방법은 원래 병목구조(bottleneck)를 우리 SMG 모듈로 대체하여 쌓인 모듈의 수를 실질적으로 감소시키는 것입니다. 이 SMG 모듈은 로컬 잔차(local residual)를 추가로 강화하였습니다. 또한, SMG 모듈은 모든 이전 출력을 통합해야 하는 DenseNet 유사 구조에 효율적인 두 단계 파이프라인을 갖추고 있습니다. 즉, 계층적 합성곱을 통해 정보가 풍부하지만 중복된 특징들을 점진적으로 압축하는 과정과 그 다음으로 다중 커널 깊이 합성곱을 통해 이를 활성화하는 과정으로 구성되어 있으며, 이 과정의 출력은 더 컴팩트하고 다양한 스케일의 정보가 풍부한 특징을 유지하게 됩니다. 우리는 재사용된 특징과 새로운 특징 사이에서 단순한 덧셈 대신 효과적인 융합을 수행하기 위해 인기 있는 주의 메커니즘(attention modules)을 도입하여 포겟 게이트와 업데이트 게이트를 개발하였습니다. 하이브리드 연결(Hybrid Connectivity, 전역 밀집 연결과 로컬 잔차 연결의 중첩 조합) 및 게이트 메커니즘(Gated mechanisms) 덕분에, 우리의 네트워크를 HCGNet이라고 명명하였습니다.CIFAR와 ImageNet 데이터셋에서의 실험 결과는 HCGNet이 DenseNet보다 훨씬 효율적이며, 복잡도가 낮음에도 불구하고 최신 네트워크들보다 현저히 우수한 성능을 보임을 입증하였습니다. 또한, 네트워크 분석(network dissection)과 적대적 방어(adversarial defense)를 통해 HCGNet은 뛰어난 해석 가능성과 견고성을 보여주었습니다. MS-COCO에서는 HCGNet이 인기 있는 백본들과 비교해 일관되게 더 나은 특징을 학습할 수 있음을 확인할 수 있었습니다.