신경망에 사전 지식을 암묵적 복합 커널을 통해 통합하기

신경망(NN) 학습을 사전 지식을 통해 안내하는 것은 어렵다. 반면, 공간적 매끄러움이나 계절성과 같은 많은 알려진 특성들은 가우시안 프로세스(GP)에서 적절한 커널을 선택함으로써 간단히 모델링할 수 있다. 이러한 알려진 특성을 모델링함으로써 많은 딥러닝 응용 사례의 성능을 향상시킬 수 있다. 예를 들어 원격 탐사 분야에서는 계절적 영향이 매우 강하기 때문에 컨볼루셔널 신경망(CNN)이 자주 사용된다. 본 연구에서는 신경망이 암묵적으로 정의하는 커널과, 알려진 특성(예: 계절성)을 모델링하기 위해 선택한 두 번째 커널을 결합한 복합 커널을 사용함으로써 딥러닝의 강점과 GP의 명확한 모델링 능력을 결합하는 방법을 제안한다. 이 아이디어를 구현하기 위해 깊은 신경망과 Nystrom 근사 기반의 효율적인 사상(매핑)을 결합하여, 암묵적 복합 커널(Implicit Composite Kernel, ICK)을 개발하였다. 이후 전체 GP 사후 분포를 근사하기 위해 '샘플 후 최적화(sample-then-optimize)' 접근법을 채택하였다. 실험을 통해 ICK가 합성 데이터 및 실제 데이터셋 모두에서 우수한 성능과 뛰어난 유연성을 보임을 입증하였다. 우리는 ICK 프레임워크가 다양한 응용 분야에서 신경망에 사전 정보를 포함시킬 수 있는 유용한 도구가 될 것이라고 기대한다.