
현재까지 컨볼루션 신경망(Convolutional Neural Networks, CNNs)의 전이 가능성(transferability)과 강건성(robustness)에 관한 이론적 및 실용적으로 중요한 질문들 중 많은 것이 해결되지 않은 상태이다. 현재 다양한 관점에서 이러한 문제에 대한 연구가 진행되고 있지만, 대부분의 컴퓨터 비전 관련 접근 방식은 이미지 데이터의 분포 변화(distribution shifts)에 미치는 영향을 탐구하는 것으로 일반화할 수 있다. 본 연구에서는 훈련된 CNN 모델의 학습된 가중치의 변화를 연구하는 새로운 접근 방식을 제안한다. 특히, 주로 사용되는 3×3 컨볼루션 필터 커널의 분포 특성에 초점을 맞춘다. 본 연구에서는 다양한 데이터셋, 아키텍처, 비전 작업을 활용하여 수백 개의 훈련된 CNN 모델에서 14억 개 이상의 필터를 수집하였으며, 이를 공개적으로 제공한다. 제안하는 데이터셋의 초기 활용 사례를 통해, 실용적 응용에 매우 중요한 성질들을 확인할 수 있다. 첫째, 시각적 카테고리, 작업 유형, 아키텍처, 계층 깊이 등의 메타-파라미터 축을 따라 훈련된 필터 간의 분포 변화(또는 변화 부족)를 분석한다. 이 결과를 바탕으로, 데이터셋의 크기와 분산 조건을 만족한다면, 임의의 데이터셋에서도 모델 사전 훈련(pre-training)이 성공할 수 있음을 결론짓는다. 둘째, 많은 사전 훈련된 모델이 퇴화된(degenerated) 필터를 포함하고 있으며, 이는 모델의 강건성을 저하시키고 타겟 응용 분야에서의 미세 조정(fine-tuning)에 적합하지 않음을 보여준다. 데이터 및 프로젝트 웹사이트: https://github.com/paulgavrikov/cnn-filter-db