군집화된 포인트와이즈 컨볼루션은 합성곱 신경망에서 파라미터를 감소시킨다

딥 컨볼루션 신경망(DCNNs)에서, 전방향 컨볼루션(Convolution)의 파라미터 수는 이전 계층의 필터 수와 입력 채널 수의 곱으로 인해 빠르게 증가한다. 이러한 증가를 해결하기 위해, 각 분기(branch)가 일정 수의 필터를 포함하고 입력 채널의 일부만 처리하는 병렬 분기 구조를 활용하여 전방향 컨볼루션의 파라미터 효율성을 높이는 새로운 기법을 제안한다. DCNN의 학습 능력 저하를 방지하기 위해, 연속적인 전방향 컨볼루션의 중간 계층에서 각 분기에서 출력된 필터의 결과를 교차 배치(interleaving)하는 전략을 도입한다. 제안된 기법의 효과를 입증하기 위해, 효율적인 네트워크인 EfficientNet, DenseNet-BC L100, MobileNet 및 MobileNet V3 Large와 같은 최신 DCNN 아키텍처에 본 기법을 적용하였다. CIFAR-10, CIFAR-100, Cropped-PlantDoc, Oxford-IIIT Pet 등의 데이터셋에서 제안된 방법을 적용한 DCNN과 기존 아키텍처의 성능을 비교하였다. 실험 결과, 제안된 기법을 적용한 DCNN은 초기 학습부터 시작하여 기존 EfficientNet 및 MobileNet V3 Large와 유사한 테스트 정확도를 달성하면서도, 최대 90%의 파라미터 수 감소와 63%의 부동소수점 연산 수 감소를 실현하였다.